Can AI Catch What Doctors Miss? | Eric Topol | TED

Übersetzung: Andrea Hielscher Lektorat: P Hakenberg

I've had the real fortune of working at Scripps Research

Ich habe das Glück,

seit 17 Jahren bei Scripps Research zu arbeiten,

for the last 17 years.

It's the largest nonprofit biomedical institution in the country.

der größten gemeinnützigen biomedizinischen Einrichtung des Landes.

And I've watched some of my colleagues,

Und ich habe einige Kollegen beobachtet,

who have spent two to three years

die zwei bis drei Jahre lang

to define the crystal 3-D structure of a protein.

die kristalline 3D-Struktur eines Proteins definiert haben.

Well, now that can be done in two or three minutes.

Das funktioniert jetzt in zwei oder drei Minuten.

And that's because of the work of AlphaFold,

Und zwar wegen der Arbeit von AlphaFold,

which is a derivative of DeepMind, Demis Hassabis and John Jumper,

einer Weiterentwicklung von DeepMind, [von] Demis Hassabis und John Jumper,

die im September mit dem amerikanischen Nobelpreis ausgezeichnet wurde.

recognized by the American Nobel Prize in September.

What's interesting, this work,

Interessanterweise inspiriert diese Arbeit,

which is taking the amino acid sequence in one dimension

bei der aus der eindimensionalen Aminosäuresequenz

and predicting the three-dimensional protein at atomic level,

das dreidimensionale Protein auf atomarer Ebene vorhergesagt wird,

[has] now inspired many other of these protein structure prediction models,

inzwischen viele andere Modelle zur Vorhersage von Proteinstrukturen,

as well as RNA and antibodies,

RNA und Antikörpern

and even being able to pick up all the missense mutations in the genome,

und ist sogar in der Lage, alle Fehlmutationen im Genom zu erfassen

and even being able to come up wit proteins

und Proteine zu entwickeln,

die nie zuvor erfunden wurden und in der Natur nicht vorkommen.

that have never been invented before, that don't exist in nature.

Now, the only thing I think about this is it was a transformer model,

Ich denke, dass es einfach ein Transformermodell war.

we'll talk about that in a moment,

Wir sprechen gleich darüber.

in this award, since Demis and John

Sollte bei dieser Auszeichnung –

da Demis und John und ihr Team von 30 Wissenschaftlern nicht verstehen,

and their team of 30 scientists

don't understand how the transformer model works,

wie das Transformermodell funktioniert –,

shouldn't the AI get an asterisk as part of that award?

sollte die KI in diesem Rahmen nicht ein Sternchen bekommen?

I'm going to switch from life science,

Ich werde von den Biowissenschaften,

which has been the singular biggest contribution just reviewed,

die hier den größten Beitrag geleistet haben,

to medicine.

zur Medizin übergehen.

And in the medical community,

In der medizinischen Fachwelt

the thing that we don't talk much about are diagnostic medical errors.

spricht man nicht viel über Diagnostikfehler.

And according to the National Academy of Medicine,

Laut der National Academy of Medicine

all of us will experience at least one in our lifetime.

machen wir alle in unserem Leben mindestens einen.

And we know from a recent Johns Hopkins study

Eine aktuelle Johns-Hopkins-Studie besagt,

that these errors have led to 800,000 Americans dead

dass diese Fehler in den USA jährlich zu 800.000 Todesfällen

or seriously disabled each year.

oder schweren Behinderungen führen.

So this is a big problem.

Das ist ein großes Problem.

And the question is, can AI help us?

Und die Frage lautet: Kann KI uns helfen?

And you keep hearing about the term “precision medicine.”

Immer wieder hört man den Begriff „Präzisionsmedizin“.

Well, if you keep making the same mistake over and over again, that's very precise.

Wenn man immer wieder denselben Fehler macht, ist das sehr präzise.

(Laughter)

(Lachen)

We don't need that,

Das brauchen wir nicht,

we need accuracy and precision medicine.

wir brauchen Richtigkeit und Präzisionsmedizin.

So can we get there?

Wie schaffen wir das?

Well, this is a picture of the retina.

Hier ist ein Bild der Netzhaut.

And this was the first major hint,

Das war der erste wichtige Hinweis:

training 100,000 images with supervised learning.

100.000 Bilder wurden mit überwachtem Lernen trainiert.

Could the machine see things that people couldn't see?

Könnte die Maschine Dinge sehen, die Menschen nicht sehen können?

And so the question was, to the retinal experts,

Also lautete die Frage an die Netzhautexperten:

is this from a man or a woman?

Stammt das von einem Mann oder einer Frau?

And the chance of getting it accurate was 50 percent.

Die Trefferquote lag bei 50 Prozent.

(Laughter)

(Lachen)

But the AI got it right, 97 percent.

Aber die KI lag richtig mit 97 Prozent.

So that training,

Bei diesem Training sind die möglichen Merkmale,

the features are not even fully defined of how that was possible.

nicht einmal vollständig definiert.

Well that gets then to all of medical images.

Das gilt dann für alle medizinischen Bilder.

This is just representative, the chest X-ray.

Als Beispiel hier ein Röntgenbild des Thorax.

And in fact with the chest X-ray,

Auf so einer Aufnahme

the ability here for the AI to pick up,

kann die KI erkennen,

the radiologists, expert radiologists missing the nodule,

dass Radiologen, erfahrene Radiologen, den Knoten übersehen haben,

which turned out to be picked up by the AI as cancerous,

den die KI als bösartig erkannte.

and this is, of course, representative of all of medical scans,

Das gilt natürlich für alle medizinischen Scans,

whether it’s CT scans, MRI, ultrasound.

egal ob CT, MRT oder Ultraschall.

That through supervised learning of large, labeled, annotated data sets,

Durch überwachtes Lernen großer, typisierter und annotierter Datensätze

we can see AI do at least as well, if not better,

können wir sehen, dass die KI mindestens so gut arbeitet

than expert physicians.

wie erfahrene Ärzte, wenn nicht besser.

And 21 randomized trials of picking up polyps --

21 randomisierte Studien zur Entdeckung von Polypen –

machine vision during colonoscopy -- have all shown

maschinelles Sehen bei der Darmspiegelung –

that polyps are picked up better

haben gezeigt, dass Polypen durch maschinelles Sehen

with the aid of machine vision than by the gastroenterologist alone,

besser entdeckt werden als von Gastroenterologen,

especially as the day goes on, later in the day, interestingly.

interessanterweise vor allem später am Tag.

Wir wissen nicht, ob die Entdeckung dieser zusätzlichen Polypen

We don't know whether picking up all these additional polyps

changes the natural history of cancers,

den Verlauf von Krebserkrankungen ändert,

but it tells you about machine eyes,

aber sie gibt Aufschluss über maschinelles Sehen

the power of machine eyes.

und seine Leistungsfähigkeit.

Now that was interesting.

Das war interessant.

But now still with deep learning models, not transformer models,

Aber jetzt, mit Deep Learning und nicht mit Transformermodellen,

we've seen and learned that the ability

haben wir gesehen und gelernt, dass die Fähigkeit der Computer Vision,

for computer vision to pick up things that human eyes can't see

Dinge zu entdecken, die das menschliche Auge nicht sehen kann,

is quite remarkable.

ziemlich bemerkenswert ist.

Here's the retina.

Hier ist die Netzhaut.

Picking up the control of diabetes and blood pressure.

Sie zeigt Diabetes und Blutdruck an.

Kidney disease.

Nierenerkrankungen.

Liver and gallbladder disease.

Leber- und Gallenblasenerkrankungen.

The heart calcium score,

Den Kalziumwert des Herzens,

which you would normally get through a scan of the heart.

den man normalerweise bei einer Herzuntersuchung ermittelt.

Alzheimer's disease before any clinical symptoms have been manifest.

Die Alzheimer-Krankheit, noch bevor klinische Symptome auftreten.

Sie sagt Herzinfarkte und Schlaganfälle vorher.

Predicting heart attacks and strokes.

Hyperlipidemia.

Hyperlipidämie.

And seven years before any symptoms of Parkinson's disease,

Und die Parkinson-Krankheit

sieben Jahre, bevor Symptome auftreten.

to pick that up.

Now this is interesting because in the future,

Das ist interessant, denn in Zukunft

we'll be taking pictures of our retina at checkups.

werden wir bei Kontrolluntersuchungen Fotos der Netzhaut machen.

This is the gateway to almost every system in the body.

Sie ist das Tor zu fast jedem Körpersystem.

It's really striking.

Äußerst bemerkenswert.

And we'll come back to this because each one of these studies

Wir kommen noch darauf zurück, denn jede dieser Studien

was done with tens or hundreds [of] thousands of images

wurde mit Abertausenden Bildern

mit überwachtem Lernen durchgeführt,

with supervised learning,

and they’re all separate studies by different investigators.

und die Studien stammen alle von verschiedenen Forschern.

Now, as a cardiologist, I love to read cardiograms.

Als Kardiologe werte ich gerne Kardiogramme aus.

I've been doing it for over 30 years.

Ich mache das seit über 30 Jahren.

But I couldn't see these things.

Aber ich konnte das alles nicht sehen.

Like, the age and the sex of the patient,

Etwa Alter und Geschlecht des Patienten

or the ejection fraction of the heart,

oder die Auswurffraktion des Herzens,

making difficult diagnoses that are frequently missed.

die schwierige, häufig übersehene Diagnosen erlaubt.

The anemia of the patient, that is, the hemoglobin to the decimal point.

Die Anämie von Patienten,

also den Hämoglobinwert auf die Nachkommastelle genau.

Predicting whether a person,

Die Vorhersage mit einem EKG,

who's never had atrial fibrillation or stroke

ob jemand, der noch nie Vorhofflimmern

from the ECG,

oder einen Schlaganfall hatte,

whether that's going to likely occur.

davon betroffen sein wird.

Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram.

Eine Diagnose von Diabetes und Prädiabetes anhand des EKGs.

The filling pressure of the heart.

Den Füllungsdruck des Herzens.

Hypothyroidism

Hypothyreose

and kidney disease.

und Nierenerkrankungen.

Imagine getting an electrocardiogram to tell you about all these other things,

Stellen Sie sich vor, Sie bekommen ein EKG mit all diesen Informationen

not really so much about the heart.

und nicht wirklich über Ihr Herz.

Then there's the chest X-ray.

Nun zu Röntgenbildern des Thorax.

Who would have guessed that we could accurately determine

Wer hätte gedacht,

dass wir anhand solcher Aufnahmen

mit maschinellen Augen die Ethnie des Patienten genau bestimmen können,

the race of the patient,

no less the ethical implications of that,

ganz zu schweigen von den damit verbundenen ethischen Implikationen?

from a chest X-ray through machine eyes?

And interestingly, picking up the diagnosis of diabetes,

Interessanterweise lässt sich mit einer Thorax-Aufnahme

as well as how well the diabetes is controlled,

auch Diabetes feststellen

und wie gut der Diabetes unter Kontrolle ist.

through the chest X-ray.

And of course, so many different parameters about the heart,

Natürlich gibt es sehr viele Herzparameter,

which we could never,

die wir Radiologen oder Kardiologen

radiologists or cardiologists, could never be able to come up

im Gegensatz zu maschinellem Sehen

with what machine vision can do.

niemals erfassen könnten.

Pathologists often argue about a slide,

Pathologen streiten oft über einen Objektträger,

about what does it really show?

darüber, was er wirklich zeigt.

But with this ability of machine eyes,

Doch mit der Fähigkeit maschineller Augen

the driver genomic mutations of the cancer can be defined,

lassen sich die genomischen Treiber- mutationen des Krebses bestimmen,

no less the structural copy number variants

dazu die strukturellen Kopienzahl-Varianten,

that are accounting or present in that tumor.

die im Tumor vorhanden sind.

Also, where is that tumor coming from?

Und wo der Tumor herkommt.

Bei vielen Patienten wissen wir es nicht.

For many patients, we don’t know.

But it can be determined through AI.

Aber das lässt sich durch die KI bestimmen.

And also the prognosis of the patient,

Das gilt auch für die Prognose des Patienten

just from the slide,

nur anhand des Objektträgers –

by all of the training.

dank dieses ganzen Trainings.

Again, this is all just convolutional neural networks,

Auch hier handelt es sich um gefaltete neuronale Netzwerke,

nicht um Transformermodelle.

not transformer models.

So when we go from the deep neural networks to transformer models,

Wenn wir uns also von den tiefen neuronalen Netzwerken

den Transformerenmodellen zuwenden,

this classic pre-print,

dann bedeutet dieser klassische,

one of the most cited pre-prints ever,

mit am meisten zitierte Preprint

„Aufmerksamkeit ist alles, was man braucht“

"Attention is All You Need,"

the ability to now be able to look at many more items,

die Fähigkeit, jetzt viel mehr Elemente zu betrachten,

whether it be language or images,

sei es Sprache oder Bilder,

and be able to put this in context,

und sie in einen Kontext zu stellen,

setting up a transformational progress in many fields.

der in vielen Bereichen einen richtungsweisenden Fortschritt bedeutet.

The prototype is, the outgrowth of this is GPT-4.

Die Weiterentwicklung des Prototyps ist GPT-4

With over a trillion connections.

mit über einer Billion Verbindungen.

Our human brain has 100 trillion connections or parameters.

Das menschliche Gehirn hat 100 Billionen Verbindungen oder Parameter.

Doch denken Sie

But one trillion,

an all die Informationen und Kenntnisse,

just think of all the information, knowledge,

that's packed into those one trillion.

die in einer Billion stecken.

And interestingly, this is now multimodal with language, with images,

Interessanterweise funktioniert das jetzt multimodal

mit Bildern und Sprache.

with speech.

And it involves a massive amount of graphic processing units.

Es beinhaltet eine Unmenge grafischer Verarbeitungseinheiten.

Und es geht um selbstüberwachtes Lernen,

And it's with self-supervised learning,

which is a big bottleneck in medicine

ein großer Engpass in der Medizin,

because we can't get experts to label images.

weil wir keine Experten dazu bringen können, Bilder zu annotieren.

This can be done with self-supervised learning.

Das geht mit selbstüberwachtem Lernen.

So what does this set up in medicine?

Was bedeutet das also in der Medizin?

It sets up, for example, keyboard liberation.

Es bedeutet zum Beispiel weniger Büroarbeit.

The one thing that both doctors, clinicians

Das, was sich Ärzte, Chirurgen

and patients would like to see.

und Patienten wünschen.

Everyone hates being data clerks as clinicians,

Kein Arzt erledigt gern Büroarbeit

and patients would like to see their doctor

und Patienten hätten gern Zeit mit ihrem Arzt,

when they finally have the visit they've waited for a long time.

wenn sie schließlich zum lang erwarteten Termin kommen.

So the ability to change the face-to-face contact

Die Verbesserung des persönlichen Kontakts

is just one step along the way.

ist nur ein Schritt auf dem Weg dorthin:

By having the liberation from keyboards with synthetic notes

durch die Befreiung von der Büroarbeit dank synthetischer Notizen,

that are driven, derived from the conversation,

die aus dem Gespräch hervorgehen,

and then all the downstream normal data clerk functions that are done,

und von der anschließenden Dokumentation,

die oft außerhalb der Arbeitszeit erledigt wird.

often off-hours.

Now we're seeing in health systems across the United States

Wir sehen in den US-Gesundheitssystemen,

where people, physicians are saving many hours of time

dass Menschen, Ärzte, viele Stunden Zeit sparen

and heading towards ultimately keyboard liberation.

und sich schließlich ganz von der Büroarbeit befreien werden.

Vor Kurzem veröffentlichten wir

We recently published, with the group at Moorfields Eye Institute,

mit Pearse Keane und ihrer Gruppe am Moorfields Eye Institute

led by Pearse Keane,

the first foundation model in medicine from the retina.

das erste Grundmodell der Netzhautmedizin.

And remember those eight different things that were all done by separate studies?

Erinnern Sie sich an die acht Dinge,

die in separaten Studien untersucht wurden?

This was all done with one model.

Das alles wurde mit einem einzigen Modell gemacht.

This is with 1.6 million retinal images

Das heißt, mit 1,6 Millionen Netzhautbildern,

predicting all these different outcome likelihoods.

die all diese Ergebniswahrscheinlichkeiten vorhersagen.

And this is all open-source,

All das ist Open Source,

which is of course really important that others can build on these models.

denn es ist sehr wichtig, dass andere auf diesen Modellen aufbauen können.

Now I just want to review a couple of really interesting patients.

Jetzt möchte ich noch auf ein paar sehr interessante Patienten eingehen.

Andrew, who is now six years old.

Da ist der heute sechsjährige Andrew.

He had three years of relentlessly increasing pain, arrested growth.

Er litt drei Jahre lang an ständig zunehmenden Schmerzen

und einem Wachstumsstopp.

His gait suffered with a dragging of his left foot,

Beim Gehen zog er den linken Fuß nach,

he had severe headaches.

er hatte starkes Kopfweh.

He went to 17 doctors over three years.

Über einen Zeitraum von drei Jahren war er bei 17 Ärzten.

His mother then entered all his symptoms into ChatGPT.

Seine Mutter gab dann all seine Symptome in ChatGPT ein.

It made the diagnosis of occulta spina bifida,

Dort wurde die Diagnose Spina bifida occulta gestellt.

which meant he had a tethered spinal cord that was missed by all 17 doctors

Das bedeutet, er hatte eine Blockade des Rückenmarks,

die alle 17 Ärzte in den letzten drei Jahren übersehen hatten.

over three years.

He had surgery to release the cord.

Die Blockade wurde operativ gelöst.

He's now perfectly healthy.

Er ist jetzt ganz gesund.

(Applause)

(Applaus)

This is a patient that was sent to me,

Das ist eine Patientin,

who was suffering with, she was told, long COVID.

die mit der Diagnose Long COVID zu mir geschickt wurde.

She saw many different physicians, neurologists,

Sie ging zu vielen Ärzten, Neurologen – ohne Erfolg.

and her sister entered all her symptoms after getting nowhere,

Dann gab ihre Schwester all ihre Symptome ein,

denn für Long COVID

no treatment for long COVID,

gab und gibt es keine validierte Behandlung.

there is no treatment validated,

and her sister put all her symptoms into ChatGPT.

Ihre Schwester gab die Symptome in ChatGPT ein.

It found out it actually was not long COVID,

Das Ergebnis: Es war nicht Long COVID,

she had limbic encephalitis, which is treatable.

sondern eine heilbare limbische Enzephalitis.

Die Patientin wurde behandelt und jetzt geht es ihr sehr gut.

She was treated, and now she's doing extremely well.

But these are not just anecdotes anymore.

Das sind keine Einzelfälle mehr.

70 very difficult cases

70 sehr schwierige Fälle

der klinisch-pathologischen Konferenzen

that are the clinical pathologic conferences

im New England Journal of Medicine

at the New England Journal of Medicine

were compared to GPT-4,

wurden mit GPT-4 verglichen.

and the chatbot did as well

Der Chatbot schnitt bei der Diagnose

or better than the expert master clinicians

genauso gut oder besser ab

in making the diagnosis.

als die erfahrensten und besten Ärzte.

So I just want to close with a recent conversation with my fellow.

Abschließend noch ein Gespräch mit meinem Stipendiaten.

Medicine is still an apprenticeship,

Medizin bedeutet ständiges Lernen.

and Andrew Cho is 30 years old,

Andrew Cho ist 30 Jahre alt

und im zweiten Jahr seines Kardiologie-Stipendiums.

in his second year of cardiology fellowship.

We see all patients together in the clinic.

Wir visitieren alle Patienten der Klinik gemeinsam.

And at the end of clinic the other day,

Neulich, am Ende des Arbeitstages,

I sat down and said to him,

setzte ich mich und sagte zu ihm:

"Andrew, you are so lucky.

„Andrew, Sie haben solches Glück.

You're going to be practicing medicine in an era of keyboard liberation.

Sie werden als Mediziner ohne Büroarbeit praktizieren.

You're going to be connecting with patients

Sie werden Patientenkontakt haben,

the way we haven't done for decades."

wie wir ihn seit Jahrzehnten nicht mehr hatten.“

That is the ability to have the note

Und zwar dank der Fähigkeit,

and the work from the conversation

aus Gesprächen Vermerke und Arbeit zu bekommen,

to derive things like pre-authorization,

um daraus Dinge wie Vorabgenehmigungen,

Rechnungen, Rezepte, zukünftige Termine abzuleiten —

billing, prescriptions, future appointments --

all the things that we do,

das, was wir auch sonst tun,

including nudges to the patient.

einschließlich Patiententipps:

For example, did you get your blood pressure checks

"Haben Sie Ihre Blutdruckwerte bekommen,

and what did they show

und was zeigen sie?"

and all that coming back to you.

All das ist unsere Rückmeldung.

But much more than that,

Aber noch wichtiger:

to help with making diagnoses.

Es hilft bei der Diagnosestellung.

And the gift of time

Und es schenkt uns Zeit,

that having all the data of a patient

weil wir alle Daten eines Patienten haben,

that's all teed up before even seeing the patient.

bevor wir ihn überhaupt sehen.

And all this support changes the future of the patient-doctor relationship,

Diese Unterstützung verändert die Zukunft der Beziehung zwischen Arzt und Patient,

bringing in the gift of time.

indem sie beiden Zeit schenkt.

So this is really exciting.

Das ist wirklich aufregend.

I said to Andrew, everything has to be validated, of course,

Ich sagte zu Andrew, natürlich müsse bestätigt werden,

that the benefit greatly outweighs any risk.

dass der Nutzen alle Risiken bei weitem überwiegt.

But it is really a remarkable time for the future of health care,

Aber es ist wirklich eine besondere Zeit für die Zukunft des Gesundheitswesens,

it's so damn exciting.

es ist so verdammt aufregend.

Thank you.

Danke.

(Applause)

(Applaus)