Leistung maschineller Lernalgorithmen zur Vorhersage des Fortschreitens der Demenz bei Patienten der Memory Clinic

Kontakt: Audrey Hu WhatsApp/hp: 0086 13880143964 E-Mail:audrey.hu@wecistanche.com

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

Abstrakt

WICHTIGKEIT: Algorithmen des maschinellen Lernens könnten als Grundlage für klinische Entscheidungshilfen zur Verbesserung der klinischen Praxis verwendet werden. ZIEL Bewertung der Fähigkeit von maschinellen Lernalgorithmen zur Vorhersage der Demenzinzidenz innerhalb von 2 Jahren im Vergleich zu bestehenden Modellen und Bestimmung des optimalen analytischen Ansatzes und der Anzahl der erforderlichen Variablen. DESIGN, SETTING UND TEILNEHMER: Diese prognostische Studie verwendete Daten aus einer prospektiven Kohorte von 15 307 Teilnehmern ohne Demenz zu Studienbeginn, um eine sekundäre Analyse von Faktoren durchzuführen, die zur Vorhersage des Auftretens von Demenz verwendet werden könnten. Die Teilnehmer besuchten das National Alzheimer Coordinating CenterErinnerungKliniken in den Vereinigten Staaten zwischen 2005 und 2015. Die Analysen wurden von März bis zum 2. Mai021 durchgeführt. EXPOSITIONEN: 258 Variablen, die Bereiche von Demenz-bezogenen klinischen Messungen und Risikofaktoren abdecken. WICHTIGSTE ERGEBNISSE UND MASSNAHMEN: Das wichtigste Ergebnis war eine inzidente Demenz jeglicher Ursache, die innerhalb von 2 Jahren nach der Ausgangsbeurteilung diagnostiziert wurde. ERGEBNISSE: In einer Stichprobe von 15 307 Teilnehmern (mittleres [SD] Alter, 72,3 [9,8] Jahre; 9129 [60 Prozent] Frauen und 6178 [40 Prozent] Männer) ohne Demenz zu Studienbeginn, 1568 (10 Prozent) erhielten innerhalb von 2 Jahren nach ihrer Erstbeurteilung eine Demenzdiagnose. Verglichen mit 2 bestehenden Modellen für die Vorhersage des Demenzrisikos (d. h. kardiovaskuläre Risikofaktoren, Alterung und Inzidenz des Demenz-Risiko-Scores und der Kurz-Demenz-Screening-Indikator) waren maschinelle Lernalgorithmen bei der Vorhersage von Vorfällen von Demenz jeglicher Ursache innerhalb von 2 Jahren überlegen. Der Gradient-Boosted-Bäume-Algorithmus hatte eine mittlere (SD) Gesamtgenauigkeit von 92 Prozent (1 Prozent), eine Sensitivität von 0,45 (0,05), eine Spezifität von 0,97 (0,01) und eine Fläche unter der Kurve von 0,92 (0,01) unter Verwendung aller 258 Variablen. Die Analyse der Variablenwichtigkeit zeigte, dass nur 6 Variablen für maschinelle Lernalgorithmen erforderlich waren, um eine Genauigkeit von 91 Prozent und eine Fläche unter der Kurve von mindestens 0,89 zu erreichen. Algorithmen für maschinelles Lernen identifizierten auch bis zu 84 Prozent der Teilnehmer, die eine anfängliche Demenzdiagnose erhielten, die anschließend in eine leichte kognitive Beeinträchtigung oder in eine kognitive Nichtbeeinträchtigung umgewandelt wurde, was auf eine mögliche Fehldiagnose hindeutet. SCHLUSSFOLGERUNGEN UND RELEVANZ: Diese Ergebnisse deuten darauf hin, dass maschinelle Lernalgorithmen das Auftreten einer Demenz innerhalb von 2 Jahren bei Patienten, die bei behandelt werden, genau vorhersagen könntenErinnerungKliniken mit nur 6 Variablen. Diese Erkenntnisse könnten in die Entwicklung und Validierung von Entscheidungshilfen einfließenErinnerungKliniken.

Einführung

Viele Patienten in spezialisierten Einrichtungen beurteilt, wie zErinnerungKliniken, keine Demenz haben, wenn sie zum ersten Mal kommen.1 Die Unterscheidung zwischen Patienten, die innerhalb eines klinisch relevanten Zeitrahmens eine Demenz entwickeln, und solchen, die demenzfrei bleiben, ist wichtig, da diese Erkenntnis verwendet werden kann, um Patienten für Folgeuntersuchungen zu priorisieren und Interventionen. Die Identifizierung von Patienten mit hohem Demenzrisiko ist eine Herausforderung für Kliniker. Ein Ansatz besteht darin, sich bei der Erstbeurteilung auf Patienten mit leichter kognitiver Beeinträchtigung (MCI) zu konzentrieren und diese Patienten zur Nachsorge einzuladen. Dies kann jedoch zu einer erheblichen Fehlklassifizierung für Patienten führen, die nicht für die Nachsorge vorgesehen sind, aber eine Demenz entwickeln, und für Patienten, die für weitere Untersuchungen vorgesehen sind, aber keine Demenz entwickeln.

Die meisten Memory-Clinic-Patienten mit MCI entwickeln selbst nach 10 Jahren keine Demenz, mit einer jährlichen Konversionsrate von 9,6 Prozent.2 Klinische Entscheidungshilfen können die Fähigkeit von Ärzten verbessern, den Beginn einer Demenz einzuschätzen. Bestehende klinische Entscheidungshilfen stehen zur Verfügung, um die mittel- und langfristige Inzidenz von Demenz in verschiedenen Bevölkerungsgruppen abzuschätzen. Beispielsweise wurde der Cardiovascular Risk Factors, Aging, and Incidence of Dementia (CAIDE) Risk Score3 entwickelt, um das Risiko für die Entwicklung einer Demenz in 20 Jahren für Menschen mittleren Alters vorherzusagen, und der Brief Dementia Screening Indicator (BDSI)4 zielt darauf ab, ältere Menschen zu identifizieren Patienten, die ein kognitives Screening durchführen sollen, indem sie ihr Risiko bestimmen, innerhalb von 6 Jahren eine Demenz zu entwickeln. Unserer Kenntnis nach wurde jedoch keine klinische Entscheidungshilfe entwickelt, um die Inzidenz von Demenz in Gedächtniskliniken über einen kürzeren klinisch relevanten Zeitraum vorherzusagen. Maschinelles Lernen (ML) ermöglicht die Nutzung von Informationen aus großen und komplexen Datensätzen. Kürzlich wurde es zur Demenzdiagnose und Risikovorhersage eingesetzt.5-9

Diese Modelle enthalten jedoch häufig Informationen, die in der klinischen Routinepraxis normalerweise nicht verfügbar sind, wie z. B. fortschrittliche Neuroimaging, Gentests und Biomarker für die Zerebrospinalflüssigkeit, wodurch die klinische Anwendung auf Spezialisten- oder Forschungsumgebungen beschränkt ist. Wir haben untersucht, ob ML-Techniken verwendet werden können, um das Auftreten von Demenz über einen Zeitraum von 2- Jahren vorherzusagenErinnerungKlinikdaten des US National Alzheimer Coordinating Center (NACC). Wir haben auch den Mindestsatz von Variablen untersucht, die für ML-Modelle erforderlich sind, um die volle diagnostische Leistung zu erreichen.

Methoden

Die NACC-Studie erhielt vom institutionellen Prüfungsausschuss jedes Standorts die ethische Genehmigung, bevor sie Daten beitragen konnte, und alle Teilnehmer hatten ihre schriftliche Zustimmung nach Aufklärung gegeben. Diese prognostische Studie wurde als von der institutionellen ethischen Genehmigung ausgenommen erachtet, da wir zuvor gesammelte anonymisierte Daten verwendet haben. Die in dieser Studie verwendeten Daten sind auf Anfrage beim NACC erhältlich. Diese Studie wird gemäß der Berichtsleitlinie Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD) berichtet. Die Daten wurden von März bis Mai 2021 analysiert.

Studienbeispiel

Wir haben zuvor gesammelte Daten aus dem NACC Uniform Data Set (UDS) verwendet.10 Der UDS enthält prospektive Kohortendaten des US-amerikanischen National Institute on Aging Alzheimer Disease Center-Programm für multizentrische gemeinsame Forschung zur Alzheimer-Krankheit und anderen neurodegenerativen Erkrankungen.11 Unser Datensatz besteht von Gedächtnisklinikdaten, die zwischen September 2005 und Februar 2015 von 30 Alzheimer-Zentren in den Vereinigten Staaten gesammelt wurden. Der Datensatz umfasst soziodemografische Merkmale der Teilnehmer und Mitteilnehmer, Familienanamnese, Funktionsstatus,12 Verhaltenssymptome (bewertet mit den Ergebnissen des neuropsychiatrischen Bestandsfragebogens13), neuropsychologische Testbatterie14 und klinische Demenzdiagnose NACC, die von jedem Alzheimer-Krankheitszentrum anhand veröffentlichter klinischer Diagnosekriterien zugewiesen wird basierend auf der standardisierten klinischen UDS-Bewertung. Einzelheiten zu den diagnostischen Kriterien des UDS-Protokolls und den zugehörigen Leitlinien wurden zuvor veröffentlicht.15

Wir haben die UDS-Versionen 1 und 2 verwendet, die 32 573 Teilnehmer der Gedächtnisklinik mit einer Grundlinienbewertung umfassen. Obwohl unsere Modelle darauf ausgelegt sind, die Inzidenz von Demenz innerhalb von 2 Jahren vorherzusagen, haben wir, um Unterschiede in der Zeit zwischen den Nachsorgeterminen zu berücksichtigen, Nachsorgeuntersuchungen aufgenommen, die innerhalb von 29 Monaten nach dem ersten Besuch stattfanden, um sicherzustellen, dass der Besuch entweder der erste oder der erste war zweiten Folgetermin.

Ergebnisvariable

Die Ergebnisvariable war die Diagnose einer Demenz aller Ursachen innerhalb von 29 Monaten (ungefähr 2 Jahre) nach der Ausgangsbeurteilung. Dazu gehören Demenz-Subtypen wie Alzheimer-Demenz, Demenz mit Lewy-Körperchen, vaskuläre Demenz und andere seltenere Subtypen. Die Alzheimer-Demenz wurde gemäß den NINCSD-ADRDA-Kriterien16, die vaskuläre Demenz wurde gemäß den NINDS-AIREN-Kriterien17, die Lewy-Körper-Demenz (LBD) wurde gemäß dem dritten Bericht der Kriterien des Dementia with Lewy Bodies Consortium18 und die frontotemporale Demenz diagnostiziert wurde gemäß den Kriterien von Neary und Kollegen von 1998 diagnostiziert.19

Kandidaten-Prädiktoren

Wir haben alle klinisch relevanten Variablen, die während des Erstbesuchs erhoben wurden, in die Versionen 1 und 2 des UDS aufgenommen (eTabelle 1 im Anhang). Wir schlossen Variablen mit Freitextwerten aus, wie z. B. Namen von Medikamenten, und Variablen, die bei allen Teilnehmern konstant waren, wie z. B. die Besuchsnummer. Vier synthetische Variablen wurden generiert, um bei der Bewertung der Wichtigkeit der Variablen zu helfen (diese Variablen sollten niedrig eingestuft werden); 3 dieser Variablen waren Permutationen bestehender Variablen (1 binäre, 1 kategoriale und 1 numerische Variable), und 1 Variable wurde zufällig aus einer Normalverteilung generiert. Daraus ergaben sich insgesamt 258 Variablen.

Die Variablen aus dem UDS, die in unsere Modelle integriert sind, umfassen demografische Merkmale der Teilnehmer (15 Variablen), demografische Merkmale der Mitteilnehmer (7 Variablen), Familienanamnese (3 Variablen), Krankengeschichte (47 Variablen), Medikamente (21 Variablen), körperliche (12 Variablen). ) und neurologische (4 Variablen) Untersuchungsergebnisse, Unified Parkinson Disease Rating Scale20 (UDPRS) (28 Variablen), Clinical Dementia Rating (CDR) scale21 (8 Variablen), Funktionsstatus (10 Variablen), neuropsychologische Testbatterie (50 Variablen) , Geriatric Depression Scale (17 Variablen) und eine klinische Bewertung der Symptome (32 Variablen). Von diesen Variablen fehlten 239 (93 Prozent) bei mindestens 1 Teilnehmer, und bei allen Teilnehmern fehlte mindestens 1 Variable.

Modellentwicklung

Wir implementierten 4 ML-Algorithmen22: logistische Regression (LR),23 Support Vector Machine (SVM),24 Random Forest (RF),25,26 und Gradient-Boosted Trees (XGB)27 (eMethoden im Supplement). Diese Algorithmen führen eine Klassifizierungsaufgabe aus: Sie bestimmen, ob ein Teilnehmer in die Klasse 0 (voraussichtlich 29 Monate nach dem Ausgangswert demenzfrei bleiben) oder in die Klasse 1 (voraussichtlich innerhalb von 29 Monaten nach dem Ausgangswert demenziell bedingt) fällt. Die Einstufung basiert auf Variablen, die bei ihrem ersten Besuch in einer Gedächtnisklinik (Baseline) aufgezeichnet wurden. Zur Implementierung der ML-Algorithmen haben wir die Python-Sci-Kit-Learn-Bibliothek (Python Software Foundation)28 mit 5-facher Kreuzvalidierung (eMethods in the Supplement) verwendet. Fehlende Werte wurden durch Stichproben mit Ersatz durch nichtfehlende Werte imputiert. Die gesamte Datenverarbeitung und -analyse wurde in Python Version 3.9, NumPy Version 1.19.4 und sci-kit-learn Version 0.24.0 implementiert.

Statistische Analyse

Modellbewertung

Wir haben die Leistung aller Modelle bewertet, indem wir ihre allgemeine Genauigkeit, Sensitivität und Spezifität für in der Literatur vorgegebene Entscheidungsschwellen (bestehende Modelle) oder eine Schwelle von 0,5 (ML-Modelle), die falsch-positive Ergebnisse gleichermaßen gewichtet, verglichen haben und falsch-negative Fehler. Die Fläche unter der Receiver Operating Characteristic Curve (AUC)29 wurde verwendet, um die Modellleistung über alle möglichen Schwellenwerte hinweg zusammenzufassen und damit Fehlergewichtungen falsch zu klassifizieren.30 Mittlere Leistungsmaße und SDs wurden durch Bootstrapping erhalten (eMethodenteil im Anhang).

Vergleich mit bestehenden Modellen

BDSI und CAIDE sind bestehende Modelle zur Vorhersage des Demenzrisikos, die Patienten eine Punktzahl zuweisen, die ihr Risiko darstellt, über längere Zeiträume Demenz zu entwickeln. Zur Ableitung der BDSI- und CAIDE-Risiko-Scores haben wir Variablen aus dem UDS ausgewählt, die den zuvor verwendeten Variablen am ehesten entsprechen (eTabelle 2 im Supplement). Die Leistung unserer ML-Modelle wurde mit der von BDSI und CAIDE für die Vorhersage von 2- Jahren Demenzinzidenz verglichen.

Modellleistung über Demenz-Subtypen hinweg

Demenz kann vielfältige Ursachen haben, die unterschiedlichen Demenz-Subtypen entsprechen. Um die Fähigkeit der ML-Modelle zur Identifizierung verschiedener Demenz-Subtypen zu beurteilen, haben wir die auftretenden Demenzfälle in Alzheimer-Demenz, LBD, vaskuläre Demenz und andere Demenz-Subtypen unterteilt. Anhand dieser 4 Schichtungen berechneten wir den Prozentsatz der korrekt klassifizierten Teilnehmer (Wahr-Positiv-Rate) und verglichen die ROC-Kurven für jedes ML-Modell.

Untersuchung der diagnostischen Stabilität

Es ist bekannt, dass die klinische Demenzdiagnose Patienten umfasst, die anfänglich falsch diagnostiziert wurden (effektiv sowohl falsch-positive als auch falsch-negative Fehler).31 Wir definieren Reversion als einen Teilnehmer, bei dem bis zu 2 Jahre nach seinem ersten Besuch in einer Gedächtnisklinik eine Demenz diagnostiziert wurde und anschließend innerhalb von 2 Jahren nach ihrer Demenzdiagnose eine Diagnose ohne Demenz (entweder MCI oder uneingeschränkte Kognition) erhält. Mit der Begründung, dass diese Reversionen instabile Diagnosen sind und wahrscheinlich das Ergebnis einer Demenz-Fehldiagnose waren, untersuchten wir die Klassifikationsgenauigkeit von ML-Modellen in einer Stichprobe von Teilnehmern mit Reversion (eMethodenteil im Anhang). Wir verwendeten die kumulative Verteilungsfunktion (CDF) der Klassifikationsergebnisse, die von jedem ML-Modell ausgegeben wurden, um Teilnehmer mit Reversion mit Patienten zu vergleichen, die eine Demenz entwickelten, und Patienten, die demenzfrei blieben.

Ergebnisse

Nach dem Ausschluss von {{0}} Teilnehmern mit einer Diagnose von Demenz zu Studienbeginn, 4557 Teilnehmern, die keine Follow-up-Daten hatten, und 573 Teilnehmern, die ihre erste Follow-up mehr als 29 Monate nach ihrem ersten Besuch hatten , umfasste die endgültige analytische Stichprobe 15 307 Teilnehmer (mittleres [SD] Alter, 72,3 [9,8] Jahre; 9129 [60 Prozent] Frauen und 6178 [40 Prozent] Männer). Die Stichprobenmerkmale sind in Tabelle 1 dargestellt. Innerhalb von 2 Jahren nach Studienbeginn erhielten 1568 Teilnehmer (10 Prozent) die Diagnose Demenz. Von 1568 Teilnehmern, bei denen eine Demenz diagnostiziert wurde, wurden 273 (17 Prozent) von einem einzigen Kliniker und 1216 (78 Prozent) von einem Konsensgremium diagnostiziert; bei 79 Teilnehmern (5 Prozent) wurde die Diagnosequelle nicht angegeben. Die wichtigsten Leistungskennzahlen zur Bewertung der Vorhersagekraft jedes Modells sind in Tabelle 2 angegeben. Verglichen mit bestehenden Modellen waren ML-Modelle überlegen in ihrer Fähigkeit, vorherzusagen, ob eine Person innerhalb von 2 Jahren Demenz entwickeln würde, und sie übertrafen bestehende Modelle bei allen Messungen. Alle ML-Modelle schnitten ähnlich gut ab, wobei XGB gemessen an der Gesamtgenauigkeit (92 Prozent) und der AUC (Mittelwert [SD], 0,92 [0,01]) die größte Leistung hatte. Die Empfängerbetriebskennlinie für jedes Modell zeigt die Ähnlichkeit zwischen den ML-Modellen und ihre Überlegenheit im Vergleich zu den beiden bestehenden Risikomodellen (Abbildung 1).

Modellleistung über Demenz-Subtypen hinweg

Um die Leistung des ML-Modells bei verschiedenen Demenz-Subtypen zu bewerten, haben wir die Population in 4 Demenz-Subtypen unterteilt: Alzheimer-Demenz (1285 Teilnehmer), LBD (82 Teilnehmer), vaskuläre Demenz (21 Teilnehmer) und andere Demenz-Subtypen (180 Teilnehmer). Das LR-Modell war am besten bei der Identifizierung von Alzheimer-Demenz und anderen Subtypen und klassifizierte 589 Teilnehmer (46 Prozent) mit Alzheimer-Demenz und 99 Teilnehmer (55 Prozent) mit anderen Subtypen korrekt. Das SVM-Modell schnitt am besten bei Teilnehmern mit LBD ab und klassifizierte 40 Teilnehmer (49 Prozent) korrekt. Alle Modelle klassifizierten 7 Teilnehmer (33 Prozent) mit vaskulärer Demenz korrekt. Receiver-Betriebskennlinien zeigen, dass alle Modelle bei jedem Subtyp ungefähr gleich gut abschneiden (eAbbildung 1 im Anhang).

Untersuchung der minimalen Anzahl von Variablen

Ein möglicher Nachteil bei der Verwendung eines ML-Ansatzes ist die große Anzahl der beteiligten Variablen. Wenn die Anzahl der von einem Modell benötigten Variablen zunimmt, wird die Implementierung in einer klinischen Umgebung weniger praktisch und die Interpretierbarkeit des Modells wird beeinträchtigt. Um zu beurteilen, wie viele Variablen jedes ML-Modell benötigt, um die äquivalente Vorhersagekraft zu dem zu erreichen, was wir unter Verwendung aller 258 Variablen gefunden haben (Tabelle 2), haben wir bewertet, wie sich die AUC mit der Anzahl der in den Modellen enthaltenen Variablen verändert. Insbesondere haben wir die Variablen für jedes Modell in eine Rangfolge gebracht, indem wir sie in absteigender Reihenfolge ihrer Wichtigkeit sortiert haben (dh die Trennschärfe jeder Variablen gemäß dem Algorithmus; eMethods im Anhang). Anschließend haben wir jedes Modell mit einer zunehmenden Anzahl von Variablen neu trainiert, beginnend mit den wichtigsten. Wir fanden heraus, dass alle Modelle nur 22 Variablen benötigten, um eine diagnostische Leistung zu erreichen, die statistisch nicht von ihrer optimalen mittleren Leistung zu unterscheiden war (Abbildung 2; eAbbildung 2 im Anhang). Die synthetischen Variablen, die hinzugefügt wurden, um die Gültigkeit der Bewertung der Variablenwichtigkeit zu gewährleisten, befanden sich bei keinem Modell unter den Top-22-Variablen, was die Tatsache widerspiegelt, dass nach Erreichen der vollen diagnostischen Leistung nur wenige Informationen vorhanden waren, um die Rangfolge der Variablen stark zu bestimmen.

Identifizierung der wichtigsten Risikofaktoren

Von den 22 wichtigsten Variablen für jedes Modell waren nur 5 allen Modellen gemeinsam (d. h. klinische Beurteilung des Rückgangs des Gedächtnisses, der kognitiven Fähigkeiten, des Verhaltens, der Fähigkeit, Angelegenheiten zu bewältigen oder Veränderungen der Motorik und Bewegung; Zeit bis zum Abschluss des Trail Making-Tests Teil B; CDR: Beeinträchtigung der Orientierung; CDR: Beeinträchtigung der Familie und der Hobbys; Grad der Unabhängigkeit). Von den verbleibenden Variablen gab es 1 0-Paare, die eine Korrelation von mehr als 0,7 aufwiesen, was darauf hinweist, dass es sich um ähnliche Variablen handelte (eTabelle 3 im Anhang). Unter Berücksichtigung dieser Korrelation durch den Austausch stark korrelierter Variablen stellten wir fest, dass es 6 hochprädiktive Variablen gab (klinische Beurteilung des Rückgangs, Zeit bis zum Abschluss des Trail Making-Tests Teil B, 3 Komponenten der CDR [Orientierung, Gedächtnis und Zuhause und Hobbys Beeinträchtigung] und Grad der Unabhängigkeit), die allen ML-Modellen gemeinsam waren (eTabelle 4 im Supplement). Beim Trainieren jedes Modells nur mit diesen Variablen stellten wir fest, dass es für LR und XGB keinen signifikanten Rückgang der diagnostischen Leistung gab: Unter Verwendung dieses Kernsatzes von 6 Variablen hatten diese Modelle eine mittlere (SD) Genauigkeit von 91 % (0 Prozent ) für LR und 91 Prozent (1 Prozent ) für XGB und mittlere (SD) AUC von 0,89 (0,01) für LR und 0,89 (0,02) für XGB (eTabelle 5 im Supplement).

Diagnostische Stabilität

Von 1568 Teilnehmern, die innerhalb von 2 Jahren eine Demenzdiagnose erhielten, identifizierten wir 13 0 (8 Prozent ) mit Reversion, die wahrscheinlich ursprünglich falsch diagnostiziert und daher für ML-Zwecke falsch gekennzeichnet wurden. Wir fanden heraus, dass Reversionen zwar nur bei 0,8 Prozent der Teilnehmer gemeldet wurden, diese aber 92 bis 109 Teilnehmer (7 Prozent -8 Prozent ) der falsch klassifizierten Teilnehmer ausmachten, mit einer geringen Abweichung zwischen den Modellen (Tabelle 3). Das RF-Modell hatte die höchste diagnostische Stabilität und identifizierte 109 von 130 Teilnehmern mit Reversion (84 Prozent) korrekt, indem es sie als voraussichtlich demenzfrei nach 2 Jahren einstufte. Um die diagnostische Stabilität von ML-Modellen zu untersuchen, haben wir die Teilnehmer mit Reversion während des Trainings entfernt (eMethodenteil im Anhang). Nach erneutem Trainieren der Modelle ohne Reversionen stellten wir fest, dass RF 106 Teilnehmer identifizierte, die Reversionen erlebten (Median [IQR], 82 Prozent [78 Prozent -82 Prozent ]), SVM identifizierte 93 Teilnehmer, die Reversionen erlebten (Median [IQR], 72 Prozent [69 Prozent -74 Prozent ]), und LR und XGB identifizierten beide 92 Teilnehmer, die Reversionen erlebten (Median [IQR], 71 Prozent [68 Prozent -75 Prozent ]). IQRs wurden durch Bootstrapping von Teilnehmern erhalten, die eine Reversion erlebten.

Um den Unterschied zwischen falsch klassifizierten Teilnehmern, Teilnehmern mit Reversion und Teilnehmern, die eine Demenz ohne Reversion entwickelten, zu verstehen, analysierten wir die CDFs der Klassifizierungswerte, die von jedem ML-Modell erhalten wurden. Wir fanden heraus, dass sich die Punktzahlen von falsch klassifizierten Teilnehmern und bestimmten Teilnehmern mit Reversion von denen unterschieden, die Demenz entwickelten, und denen, die keine Demenz hatten (eAbbildung 3 im Anhang). Die CDFs der Klassifikationswerte für Teilnehmer, die keine Demenz entwickelten, fielen ganz links in jedem Diagramm, was darauf hinweist, dass die ML-Modelle diesen Teilnehmern eine geringe Wahrscheinlichkeit zuwiesen, an Demenz zu erkranken. Umgekehrt fielen die CDFs für Teilnehmer, die eine Demenz entwickelten, auf die rechte Seite der Diagramme: ihnen wurde eine hohe Wahrscheinlichkeit zugewiesen, an Demenz zu erkranken. Bei allen Modellen lag die Verteilung der Werte für Teilnehmer mit Reversion links von der für Teilnehmer, die eine Demenz entwickelten, was bedeutet, dass Teilnehmer mit Reversion gemäß diesen Modellen mit einer geringeren Wahrscheinlichkeit, eine Demenz zu entwickeln, bewertet wurden.

Diskussion

In dieser prognostischen Studie hatten ML-Algorithmen im Vergleich zu BDSI und CAIDE eine überlegene prognostische Genauigkeit bei der Vorhersage der Demenzinzidenz innerhalb von 2 Jahren nach der ersten klinischen Beurteilung eines Patienten. Zwei der ML-Algorithmen wurden bewertet, um eine Genauigkeit von 91 Prozent und eine AUC von 0,89 mit nur 6 Schlüsselvariablen zu erreichen. Sensitivitätsanalysen deuten darauf hin, dass ML-Modelle einen hohen Anteil von Teilnehmern mit Reversion, die innerhalb von 2 Jahren nach ihrem ersten Besuch möglicherweise falsch diagnostiziert wurden, korrekt klassifizieren konnten. Diese Studie hat mehrere Stärken, darunter die große Stichprobe von Patienten aus mehreren Gedächtniskliniken in den Vereinigten Staaten, das breite Spektrum der verwendeten ML-Techniken, das Benchmarking mit bestehenden Risikomodellen und die Untersuchung der diagnostischen Stabilität und wahrscheinlicher Fehldiagnosen.

Frühere Studien zur Verwendung von ML zur Vorhersage des Demenzrisikos konzentrierten sich auf die Konversion von unbeeinträchtigter Kognition zu Alzheimer-Demenz oder MCI6,8 oder Konversion von MCI zu Alzheimer-Demenz.5 Diese Ansätze sind in einem klinischen Umfeld weniger nützlich, da sie ausschließen andere Arten von Demenz5,6,8 oder Patienten, die anfänglich kognitiv nicht beeinträchtigt sind.5 Die in diesen Studien verwendeten Daten umfassten Positronen-Emissions-Tomographie-Scans5,8 und Biomarker der Zerebrospinalflüssigkeit,8 die in einer Gedächtnisklinik üblicherweise nicht verfügbar sind. Eine Studie von Lin et al.6 hat dies überwunden, indem NACC-Daten verwendet wurden, um eine Reihe von 15 nicht-invasiven klinischen Variablen zu finden, um das Risiko einer Konversion von unbeeinträchtigter Kognition zu MCI in einem Zeitraum von 4- Jahren zu bewerten. Das Konstrukt von MCI bleibt jedoch etwas umstritten,32 und die Konversionsraten zwischen MCI und Demenz sind oft niedrig.32,33 Unsere ML-Modelle ergänzen diese Analysen und haben den Vorteil, dass sie nur 6 Schlüsselvariablen über einen klinisch relevanten Zeitraum einbeziehen und vorhersagen Ergebnis einer Demenz aller Ursachen.

Von den bestehenden Modellen, die in unserer Studie untersucht wurden, war das CAIDE-Modell das am wenigsten genaue bei der Vorhersage des Demenzrisikos über 2 Jahre, was nicht überraschend ist, da es entwickelt wurde, um das langfristige Demenzrisiko bei Erwachsenen mittleren Alters über einen viel längeren Zeitraum vorherzusagen Nachbeobachtungszeitraum von 20 Jahren. Der BDSI schnitt besser ab als der CAIDE, was wahrscheinlich widerspiegelt, dass er für die Verwendung bei älteren Erwachsenen über einen moderateren Nachbeobachtungszeitraum von 6 Jahren konzipiert war. Alle ML-Modelle übertrafen jedoch diese bestehenden Modelle. Unter Verwendung aller Variablen war XGB der stärkste ML-Ansatz bei der Vorhersage von Patienten, bei denen wahrscheinlich innerhalb von 2 Jahren Demenz diagnostiziert wird, was darauf hindeutet, dass die Art und Weise, wie neue Entscheidungsbäume trainiert werden, um die Fehler der letzten drei zu korrigieren, zu einer marginalen Leistung führt gewinnen. XGB schien jedoch auch der Ansatz zu sein, der am wenigsten in der Lage war, Teilnehmer zu identifizieren, die eine Reversion erlebten, dh diejenigen, bei denen innerhalb von 2 Jahren erstmals Demenz diagnostiziert wurde und deren Diagnose innerhalb von 2 Jahren nach der Erstdiagnose rückgängig gemacht wurde.

Die Leistung von ML-Modellen kann durch falsch gekennzeichnete Trainingsdaten erheblich reduziert werden.34 Entgegen der Intuition verbessert das Ausschließen falsch gekennzeichneter Trainingsdaten nicht immer die Leistung.35 Wenn der Rauschpegel in den Trainingsdaten zunimmt, nimmt der Wert des Ausschließens oder Reduzierens dieses Rauschens ab das gleiche Rauschen ist in den Validierungsdaten vorhanden.36 Daher kann das Filtern von Trainingsdaten sogar Daten zur Leistungsinvalidierung reduzieren, wie in dieser Studie festgestellt wurde. Wenn das Ausmaß der Fehlkennzeichnung jedoch weniger als etwa 20 bis 40 Prozent beträgt, kann das Entfernen falsch gekennzeichneter Daten die Genauigkeit der Validierungsdaten verbessern, selbst wenn diese falsch gekennzeichnete Daten beinhalten.35,37,38 Validierungsdaten: Auch Kriterienstandarddaten enthalten Fehler.

Die beobachtete Reversionsrate (8 Prozent) war ähnlich wie in einer Studie aus dem Jahr 2019, die auf einer anderen US-Bevölkerung basiert.31 In unserer Studie wurde festgestellt, dass der Prozentsatz der falsch positiven Ergebnisse je nach kognitiver Leistung zwischen 7 Prozent und 19 Prozent schwankt Bewertung verwendet. Unseres Wissens ist dies die erste Analyse möglicher Fehldiagnosen im NACC UDS und legt nahe, dass die Verwendung von ML als klinische Entscheidungshilfe das Potenzial hat, die Fehldiagnose falsch positiver Ergebnisse um bis zu 84 Prozent zu reduzieren. Da Patienten, bei denen eine Reversion auftritt, im diagnostischen Sinne grenzwertig sind, kann es aus klinischer Sicht sinnvoll sein, sie trotzdem weiterzuverfolgen, sofern es Anlass zu klinischer Besorgnis gab. Somit ist XGB möglicherweise das beste Modell für eine klinische Entscheidungshilfe. Alternativ kann sich ein Ensemble-Ansatz, der sekundäre Vorhersagen über die wahrscheinliche diagnostische Stabilität und die Möglichkeit einer Fehlklassifizierung macht, als noch nützlicher erweisen.

Einschränkungen

Diese Studie hat mehrere Einschränkungen. Zunächst wurden sowohl CAIDE als auch BDSI unter Verwendung anderer Populationen als der in dieser Studie verwendeten entwickelt. Nicht alle Variablen, die für die Entwicklung dieser Modelle verwendet wurden, hatten ein genaues Äquivalent in der UDS, was ihre Leistung in diesem Datensatz beeinflusst haben könnte. Zweitens kann die zur Imputation der Daten verwendete Methode zu Imputationsfehlern führen. Insbesondere ersetzt die Imputation alle fehlenden Werte durch einen numerischen Wert, jedoch fehlen einige Werte aufgrund ihrer Beziehung zu einem anderen Wert; Daher ist die Tatsache, dass ein Wert fehlt, informativ. Während jedoch bei den Teilnehmern durchschnittlich 14 Prozent Daten fehlten, fehlten die 6 identifizierten Schlüsselvariablen bei durchschnittlich 1 Prozent der Teilnehmer. Drittens, obwohl unsere Studie eine große Stichprobe von Teilnehmern von Gedächtniskliniken in den Vereinigten Staaten verwendete, was unsere Ergebnisse in hohem Maße auf dieses Umfeld anwendbar macht, ist das Ausmaß, in dem diese Ergebnisse auf andere Bevölkerungsgruppen verallgemeinert werden können, unbekannt.

Schlussfolgerungen

Diese prognostische Studie ergab, dass ML-Modelle bestehende Modelle zur Vorhersage des Demenzrisikos übertrafen und möglicherweise das Potenzial haben, die Vorhersage von Demenzvorfällen über 2 Jahre in Gedächtniskliniken zu verbessern. Sechs Schlüsselfaktoren für das Demenzrisiko, die in dieser Studie identifiziert wurden, könnten das Potenzial haben, die klinische Praxis in Gedächtniskliniken zu verbessern, wenn sie in zukünftige klinische Entscheidungshilfen integriert werden.