Izvedba algoritama strojnog učenja za predviđanje progresije demencije kod pacijenata Klinike za pamćenje

Kontakt: Audrey Hu Whatsapp/hp: 0086 13880143964 E-pošta:audrey.hu@wecistanche.com

Charlotte James, dr. sc.; dr. Janice M. Ranson; dr. Richard Everson; dr. David J. Llewellyn

Sažetak

VAŽNOST: Algoritmi strojnog učenja mogu se koristiti kao osnova za pomoć pri donošenju kliničkih odluka za poboljšanje kliničke prakse. CILJ Procijeniti sposobnost algoritama strojnog učenja za predviđanje incidencije demencije unutar 2 godine u usporedbi s postojećim modelima i odrediti optimalan analitički pristup i broj potrebnih varijabli. DIZAJN, POSTAVKA I SUDIONICI: Ova prognostička studija upotrijebila je podatke iz prospektivne skupine od 15 307 sudionika bez demencije na početku za izvođenje sekundarne analize čimbenika koji bi se mogli koristiti za predviđanje učestalosti demencije. Sudionici su pohađali National Alzheimer Coordinating Centermemorijaklinikama diljem Sjedinjenih Država između 2005. i 2015. Analize su provedene od ožujka do 2. svibnja021. IZLOŽENOST: 258 varijabli koje obuhvaćaju domene kliničkih mjera i čimbenika rizika povezanih s demencijom. GLAVNI ISHODI I MJERE: Glavni ishod bila je slučajna demencija svih uzroka dijagnosticirana unutar 2 godine od osnovne procjene. REZULTATI: U uzorku od 15 307 sudionika (srednja [SD] dob, 72,3 [9,8] godina; 9129 [60 posto ] žena i 6178 [40 posto ] muškaraca) bez demencija na početku, 1568 (10 posto) dobilo je dijagnozu demencije unutar 2 godine od početne procjene. U usporedbi s 2 postojeća modela za predviđanje rizika od demencije (tj. Čimbenici kardiovaskularnog rizika, Starenje i učestalost rizika od demencije te Kratki pokazatelj probira demencije), algoritmi strojnog učenja bili su superiorniji u predviđanju incidentne demencije svih uzroka unutar 2 godine. Algoritam za drveće s pojačanim gradijentom imao je srednju (SD) ukupnu točnost od 92 posto (1 posto), osjetljivost od 0,45 (0,05), specifičnost od 0,97 (0,01) i površinu ispod krivulje od 0,92 (0,01) koristeći svih 258 varijable. Analiza važnosti varijable pokazala je da je samo 6 varijabli potrebno da algoritmi strojnog učenja postignu točnost od 91 posto i površinu ispod krivulje od najmanje 0,89. Algoritmi strojnog učenja također su identificirali do 84 posto sudionika koji su primili početnu dijagnozu demencije koja je naknadno poništena u blago kognitivno oštećenje ili kognitivno neporemećeno, što ukazuje na moguću pogrešnu dijagnozu. ZAKLJUČCI I RELEVANTNOST: Ova otkrića sugeriraju da bi algoritmi strojnog učenja mogli točno predvidjeti incidentnu demenciju unutar 2 godine kod pacijenata koji primaju njegu umemorijaklinike koje koriste samo 6 varijabli. Ovi se nalazi mogu koristiti za informiranje o razvoju i validaciji pomagala za donošenje odlukamemorijaklinike.

Uvod

Mnogi pacijenti procijenjeni u specijalističkim ustanovama, kao što jememorijaklinikama, nemaju demenciju kada prvi put dođu.1 Važno je napraviti razliku između pacijenata koji razviju demenciju unutar klinički relevantnog vremenskog okvira i onih koji ostaju bez demencije jer se taj uvid može koristiti za određivanje prioriteta pacijenata za daljnje pretrage i intervencije. Identificiranje bolesnika s visokim rizikom od razvoja demencije izazov je za kliničare. Jedan je pristup usredotočiti se na one koji imaju blago kognitivno oštećenje (MCI) prilikom početne procjene i pozvati te pacijente na praćenje. Međutim, to može rezultirati značajnom pogrešnom klasifikacijom pacijenata koji nisu ciljani za praćenje, ali koji razvijaju demenciju i pacijenata koji su ciljani za daljnja ispitivanja, ali ne razvijaju demenciju.

Najvišememorijaklinički pacijenti s MCI ne napreduju do demencije čak ni nakon 10 godina, s godišnjom stopom konverzije od 9,6 posto.2 Pomoć pri donošenju kliničkih odluka može poboljšati sposobnost kliničara da procijene početak demencije. Postojeća klinička pomagala za donošenje odluka dostupna su za procjenu srednjoročne i dugoročne učestalosti demencije u različitim populacijama. Na primjer, čimbenici kardiovaskularnog rizika, starenje i učestalost demencije (CAIDE) Risk Score3 osmišljeni su za predviđanje rizika za razvoj demencije za 20 godina za ljude srednje dobi, a Brief Dementia Screening Indicator (BDSI)4 ima za cilj identificirati starije osobe bolesnika ciljati na kognitivni probir određivanjem rizika od razvoja demencije za 6 godina. Međutim, koliko znamo, nije razvijena klinička pomoć pri donošenju odluka za predviđanje učestalosti demencije umemorijaklinike tijekom kraćeg klinički relevantnog razdoblja. Strojno učenje (ML) omogućuje korištenje informacija iz velikih i složenih skupova podataka. Nedavno se primjenjuje na dijagnozu demencije i predviđanje rizika.5-9

Međutim, ti modeli često uključuju informacije koje obično nisu dostupne u rutinskoj kliničkoj praksi, poput naprednog neuroimaginga, genetskog testiranja i biomarkera cerebrospinalne tekućine, ograničavajući kliničku primjenu na specijalističke ili istraživačke postavke. Istražili smo mogu li se ML tehnike koristiti za predviđanje incidencije demencije tijekom 2-godišnjeg razdoblja pomoćumemorijaklinički podaci američkog Nacionalnog centra za koordinaciju bolesti Alzheimera (NACC). Također smo ispitali minimalni skup varijabli potrebnih za ML modele za postizanje pune dijagnostičke izvedbe.

metode

Studija NACC-a dobila je etičko odobrenje od strane institucionalnog odbora za reviziju svake lokacije prije nego što je mogla dati podatke, a svi su sudionici dali informirani pismeni pristanak. Ova prognostička studija smatrana je izuzetom od institucionalnog etičkog odobrenja jer smo koristili prethodno prikupljene neidentificirane podatke. Podaci korišteni u ovoj studiji dostupni su putem zahtjeva za podacima NACC-u. Ova studija je objavljena u skladu s Transparentnim izvješćivanjem o modelu multivarijabilnog predviđanja za pojedinačnu prognozu ili dijagnozu (TRIPOD). Podaci su analizirani od ožujka do svibnja 2021.

Uzorak studije

Koristili smo prethodno prikupljene podatke iz NACC Uniform Data Set (UDS).10 UDS sadrži prospektivne kohortne podatke iz američkog Nacionalnog instituta za starenje programa Centra za Alzheimerovu bolest za multicentrična suradnička istraživanja Alzheimerove bolesti i drugih neurodegenerativnih poremećaja.11 Naš skup podataka sastoji se od podataka klinike za pamćenje prikupljenih između rujna 2005. i veljače 2015. iz 30 centara za Alzheimerovu bolest koji se nalaze u Sjedinjenim Državama. Skup podataka uključuje sociodemografske karakteristike sudionika i susudionika, obiteljsku anamnezu, funkcionalni status,12 simptome ponašanja (procijenjene rezultatima upitnika neuropsihijatrijskog inventara13), bateriju neuropsiholoških testova14 i NACC kliničku dijagnozu demencije, koju je dodijelio svaki centar za Alzheimerovu bolest koristeći objavljene kliničke dijagnostičke kriterije na temelju standardizirane UDS kliničke evaluacije. Pojedinosti dijagnostičkih kriterija koje je usvojio UDS protokol i pridružene smjernice objavljene su ranije.15

Koristili smo UDS verzije 1 i 2, koje uključuju 32 573 sudionika klinike za pamćenje s osnovnom procjenom. Iako su naši modeli dizajnirani za predviđanje incidencije demencije unutar 2 godine, kako bi se uzela u obzir varijacija u vremenu između kontrolnih pregleda, uključili smo praćenje koje se dogodilo unutar 29 mjeseci od prvog posjeta kako bismo osigurali da je posjet bio ili prvi ili drugi kontrolni pregled.

Varijabla ishoda

Varijabla ishoda bila je slučajna dijagnoza sveobuhvatne demencije unutar 29 mjeseci (otprilike 2 godine) od osnovne procjene. To uključuje podtipove demencije, kao što su Alzheimerova demencija, demencija s Lewyjevim tjelešcima, vaskularnu demenciju i druge rjeđe podtipove. Alzheimerova demencija dijagnosticirana je prema kriterijima NINCSD-ADRDA,16 vaskularna demencija dijagnosticirana je prema kriterijima NINDS-AIREN,17 demencija Lewyjevih tjelešaca (LBD) dijagnosticirana je prema trećem izvješću kriterija Konzorcija za demenciju s Lewyjevim tjelešcima,18 a frontotemporalna demencija dijagnosticiran je prema kriterijima Nearyja i suradnika iz 1998.19

Prediktori kandidata

Uključili smo sve klinički relevantne varijable prikupljene tijekom prvog posjeta u verzije 1 i 2 UDS-a (eTablica 1 u Dodatku). Isključili smo varijable s vrijednostima slobodnog teksta, kao što su nazivi lijekova i varijable koje su bile konstantne za sve sudionike, kao što je broj posjeta. Generirane su četiri sintetičke varijable koje pomažu u procjeni važnosti varijable (ove varijable trebale bi biti nisko rangirane); 3 od ovih varijabli bile su permutacije postojećih varijabli (1 binarna, 1 kategorička i 1 numerička varijabla), a 1 varijabla je nasumično generirana iz normalne distribucije. To je rezultiralo s ukupno 258 varijabli.

Varijable iz UDS-a uključene u naše modele uključuju demografske karakteristike sudionika (15 varijabli), demografske karakteristike susudionika (7 varijabli), obiteljsku povijest (3 varijable), povijest bolesti (47 varijabli), lijekove (21 varijabla), fizičke (12 varijabli) ) i rezultati neuroloških (4 varijable) pregleda, Unified Parkinson Disease Rating Scale20 (UDPRS) (28 varijabli), Clinical Dementia Rating (CDR) ljestvica21 (8 varijabli), funkcionalni status (10 varijabli), neuropsihološka testna baterija (50 varijabli) , skala staračke depresije (17 varijabli) i klinička procjena simptoma (32 varijable). Od ovih varijabli, 239 (93 posto) je nedostajalo za najmanje 1 sudionika, a svim je sudionicima nedostajala barem 1 varijabla.

Razvoj modela

Implementirali smo 4 ML algoritma22: logističku regresiju (LR),23 potporni vektorski stroj (SVM),24 nasumične šume (RF),25,26 i gradijentno pojačana stabla (XGB)27 (eMetode u dodatku). Ovi algoritmi obavljaju zadatak klasifikacije: određuju spada li sudionik u klasu 0 (predviđeno da će ostati bez demencije 29 mjeseci od početne vrijednosti) ili klasu 1 (predviđeno da će doživjeti incidentnu demenciju unutar 29 mjeseci od početne vrijednosti). Klasifikacija se temelji na varijablama zabilježenim pri njihovom prvom (osnovnom) posjetu klinici za pamćenje. Za implementaciju ML algoritama koristili smo Python sci-kit-learn knjižnicu (Python Software Foundation),28 s 5-preklopnom unakrsnom provjerom (eMethods u dodatku). Vrijednosti koje nedostaju imputirane su uzorkovanjem sa zamjenom iz vrijednosti koje nedostaju. Sva obrada i analiza podataka implementirane su u Python verziji 3.9, NumPy verziji 1.19.4 i sci-kit-learn verziji 0.24.0.

Statistička analiza

Evaluacija modela

Ocijenili smo izvedbu svih modela uspoređujući njihovu ukupnu točnost, osjetljivost i specifičnost za pragove odluke unaprijed navedene u literaturi (postojeći modeli) ili prag od 0.5 (ML modeli), koji jednako teži lažno pozitivnim i lažno negativne pogreške. Područje ispod krivulje radne karakteristike prijamnika (AUC)29 korišteno je za sažetak izvedbe modela preko svih mogućih pragova, a time i ponderiranja pogreške u pogrešnoj klasifikaciji.30 Srednje mjere učinkovitosti i SD dobiveni su pokretanjem (eMetode u Dodatku).

Usporedba s postojećim modelima

BDSI i CAIDE postojeći su modeli predviđanja rizika od demencije koji pacijentima dodjeljuju rezultat koji predstavlja njihov rizik od razvoja demencije tijekom dužih vremenskih razdoblja. Za izvođenje BDSI i CAIDE rezultata rizika, odabrali smo varijable iz UDS-a koje najbliže odgovaraju varijablama koje su prethodno korištene (eTablica 2 u Dodatku). Učinkovitost naših ML modela uspoređena je s onom BDSI i CAIDE za predviđanje 2--godišnje incidencije demencije.

Učinkovitost modela kod podtipova demencije

Demencija može imati različite uzroke koji odgovaraju različitim podtipovima demencije. Kako bismo procijenili sposobnost ML modela da identificiraju različite podtipove demencije, slučajeve incidentne demencije podijelili smo na Alzheimerovu demenciju, LBD, vaskularnu demenciju i druge podtipove demencije. Koristeći ove 4 stratifikacije, izračunali smo postotak ispravno klasificiranih sudionika (stvarno pozitivna stopa) i usporedili ROC krivulje za svaki ML model.

Ispitivanje dijagnostičke stabilnosti

Poznato je da klinička dijagnoza demencije uključuje pacijente koji su inicijalno pogrešno dijagnosticirani (učinkovito i lažno pozitivne i lažno negativne pogreške).31 Definiramo reverziju kao kada je sudionik kojemu je demencija dijagnosticirana do 2 godine nakon prvog posjeta klinici za pamćenje i naknadno dobije dijagnozu da nema demencije (bilo MCI ili neporemećena kognicija) unutar 2 godine od njihove dijagnoze demencije. Uz obrazloženje da su ove reverzije nestabilne dijagnoze i da su vjerojatno bile rezultat pogrešne dijagnoze demencije, istražili smo točnost klasifikacije ML modela na uzorku sudionika s reverzijom (eMetode u Dodatku). Koristili smo kumulativnu distribucijsku funkciju (CDF) rezultata klasifikacije koju daje svaki ML model kako bismo usporedili sudionike s reverzijom s pacijentima koji su razvili demenciju i pacijentima koji su ostali bez demencije.

Rezultati

Nakon isključivanja {{0}} sudionika s dijagnozom demencije na početku, 4557 sudionika koji nisu imali nikakve podatke o praćenju i 573 sudionika koji su imali prvi pregled više od 29 mjeseci nakon prvog posjeta , konačni analitički uzorak sadržavao je 15 307 sudionika (srednja [SD] dob, 72,3 [9,8] godina; 9129 [60 posto] žena i 6178 [40 posto] muškaraca). Karakteristike uzorka prikazane su u tablici 1. Unutar 2 godine od početne vrijednosti, 1568 sudionika (10 posto) dobilo je dijagnozu demencije. Od 1568 sudionika koji su dobili dijagnozu demencije, 273 (17 posto) dijagnosticiran je od strane jednog kliničara, a 1216 (78 posto) dijagnozu je dijagnosticirao konsenzusni panel; za 79 sudionika (5 posto), izvor dijagnoze nije bio naveden. Ključne mjere izvedbe koje procjenjuju prediktivnu moć svakog modela dane su u tablici 2. U usporedbi s postojećim modelima, ML modeli bili su superiorniji u svojoj sposobnosti predviđanja hoće li pojedinac razviti demenciju unutar 2 godine, te su nadmašili postojeće modele u svim mjerama. Svi ML modeli imali su slične rezultate, s time da je XGB imao najveću snagu mjereno ukupnom preciznošću (92 posto) i AUC (srednja vrijednost [SD], 0,92 [0,01]). Radna karakteristična krivulja prijamnika za svaki model pokazuje sličnost među ML modelima i njihovu superiornost u usporedbi s 2 postojeća modela rizika (Slika 1).

Učinkovitost modela kod podtipova demencije

Kako bismo procijenili učinkovitost modela ML u različitim podtipovima demencije, podijelili smo populaciju u 4 podtipa demencije: Alzheimerova demencija (1285 sudionika), LBD (82 sudionika), vaskularna demencija (21 sudionik) i druge podvrste demencije (180 sudionika). LR model bio je najbolji u identificiranju Alzheimerove demencije i drugih podtipova, ispravno klasificirajući 589 sudionika (46 posto) s Alzheimerovom demencijom i 99 sudionika (55 posto) s drugim podtipovima. SVM model pokazao se najbolje na sudionicima s LBD-om, ispravno klasificirajući 40 sudionika (49 posto). Svi modeli točno su klasificirali 7 sudionika (33 posto) s vaskularnom demencijom. Krivulje radnih karakteristika prijemnika pokazuju da su svi modeli imali približno jednako dobre rezultate na svakoj podvrsti (eSlika 1 u Dodatku).

.

Istraživanje minimalnog broja varijabli

Jedan potencijalni nedostatak korištenja ML pristupa je velik broj uključenih varijabli. Kako se broj varijabli koje zahtijeva model povećava, implementacija u kliničkom okruženju postaje manje praktična i interpretabilnost modela je smanjena. Da bismo procijenili koliko je varijabli potrebno svakom modelu ML-a da postigne ekvivalentnu prediktivnu snagu onome što smo pronašli pomoću svih 258 varijabli (tablica 2), procijenili smo koliko je AUC varirao s brojem varijabli uključenih u modele. Točnije, rangirali smo varijable za svaki model sortirajući ih silaznim redoslijedom važnosti (tj. diskriminirajuća snaga svake varijable prema algoritmu; eMetode u Dodatku). Naknadno smo ponovno obučili svaki model sa sve većim brojem varijabli, počevši od najvažnije. Otkrili smo da su svi modeli zahtijevali samo 22 varijable kako bi se postigla dijagnostička izvedba koja se statistički ne razlikuje od njihove optimalne srednje izvedbe (Slika 2; eSlika 2 u Dodatku). Sintetičke varijable dodane kako bi se osigurala valjanost procjene važnosti varijable nisu bile među prve 22 varijable ni za jedan model, što odražava činjenicu da je nakon postizanja pune dijagnostičke izvedbe bilo malo informacija za snažno određivanje rangiranja varijabli.

Identifikacija ključnih čimbenika rizika

Od 22 najvažnije varijable za svaki model, samo je 5 bilo zajedničko svim modelima (tj. klinička prosudba o opadanju pamćenja, kognitivnih sposobnosti, ponašanja, sposobnosti upravljanja poslovima ili motoričkih i pokretnih promjena; vrijeme za dovršetak testa pravljenja tragova Dio B; CDR: oštećenje orijentacije; CDR: oštećenje doma i hobija; i razina neovisnosti). Od preostalih varijabli, postojao je 10 par koji je imao korelaciju veću od 0.7, što ukazuje da su slične varijable (eTablica 3 u Dodatku). Uzimajući u obzir ovu korelaciju izmjenom varijabli koje su bile u visokoj korelaciji, otkrili smo da postoji 6 visoko prediktivnih varijabli (klinička procjena opadanja, vrijeme za dovršetak testa pravljenja tragova, dio B, 3 komponente CDR-a [orijentacija, pamćenje, dom i hobiji oštećenje] i razina neovisnosti) koji su bili zajednički svim modelima ML-a (eTablica 4 u Dodatku). Obučavajući svaki model koristeći samo ove varijable, otkrili smo da za LR i XGB nije došlo do značajnog smanjenja dijagnostičke izvedbe: korištenjem ovog temeljnog skupa od 6 varijabli, ti su modeli imali srednju (SD) točnost od 91 posto (0 posto ) za LR i 91 posto (1 posto ) za XGB i srednju (SD) AUC od 0.89 (0.01) za LR i 0.89 (0.02) za XGB (eTablica 5 u Dodatku).

Dijagnostička stabilnost Od 1568 sudionika koji su primili dijagnozu demencije u roku od 2 godine, identificirali smo 130 (8 posto) osoba koje su doživjele reverziju i kojima je vjerojatno prvotno pogrešno dijagnosticirana i stoga pogrešno označena za potrebe ML-a. Otkrili smo da iako su reverzije prijavljene samo u 0,8 posto sudionika, one su činile 92 do 109 sudionika (7 posto -8 posto ) pogrešno klasificiranih sudionika, s malom količinom varijacija između modela (Tablica 3). RF model imao je najveću dijagnostičku stabilnost, točno identificirajući 109 od 130 sudionika s reverzijom (84 posto) klasificirajući ih prema predviđanjima kao osobe bez demencije nakon 2 godine. Kako bismo istražili dijagnostičku stabilnost ML modela, uklonili smo sudionike s reverzijom tijekom treninga (eMetode u Dodatku). Nakon ponovne obuke modela bez reverzija, otkrili smo da je RF identificirao 106 sudionika koji su doživjeli reverzije (medijan [IQR], 82 posto [78 posto -82 posto ]), SVM je identificirao 93 sudionika koji su doživjeli reverzije (medijan [IQR], 72 posto [69 posto -74 posto ]), a LR i XGB identificirali su 92 sudionika koji su doživjeli reverzije (medijan [IQR], 71 posto [68 posto -75 posto ]). IQR su dobiveni sudionicima koji su doživjeli reverziju.

Kako bismo razumjeli razliku između pogrešno klasificiranih sudionika, sudionika s reverzijom i sudionika koji su razvili demenciju bez reverzije, analizirali smo CDF-ove klasifikacijskih rezultata dobivenih iz svakog ML modela. Otkrili smo da su rezultati pogrešno klasificiranih sudionika i specifičnih sudionika s reverzijom bili različiti od sudionika koji su razvili demenciju i onih koji nisu (eSlika 3 u Dodatku). CDF-ovi klasifikacijskih rezultata za sudionike koji nisu razvili demenciju pali su krajnje lijevo od svakog grafikona, što ukazuje da su ML modeli tim sudionicima dodijelili nisku vjerojatnost razvoja demencije. Nasuprot tome, za sudionike koji su razvili demenciju, CDF-ovi su pali desno od dijagrama: dodijeljena im je velika vjerojatnost razvoja demencije. Za sve modele, distribucija rezultata za sudionike s reverzijom pala je lijevo od one za sudionike koji su razvili demenciju, što znači da je za sudionike s reverzijom procijenjena manja vjerojatnost razvoja demencije prema ovim modelima.

Rasprava

U ovoj prognostičkoj studiji, ML algoritmi imali su superiornu prognostičku točnost u usporedbi s BDSI i CAIDE u predviđanju incidencije demencije unutar 2 godine od pacijentove prve kliničke procjene pamćenja. Procijenjeno je da su dva algoritma ML-a postigla točnost od 91 posto i AUC od 0.89 sa samo 6 ključnih varijabli. Analize osjetljivosti sugeriraju da bi ML modeli mogli ispravno klasificirati visok udio sudionika koji su doživjeli reverziju, a kojima je potencijalno pogrešno dijagnosticirana unutar 2 godine od njihovog prvog posjeta. Ova studija ima nekoliko prednosti, uključujući veliki uzorak pacijenata dobivenih iz više klinika za pamćenje diljem Sjedinjenih Država, širok raspon korištenih tehnika ML-a, usporedbu s postojećim modelima rizika i istraživanje dijagnostičke stabilnosti i vjerojatne pogrešne dijagnoze.

Prethodne studije o korištenju ML-a za predviđanje rizika od demencije usredotočile su se na konverziju iz neoštećene kognicije u Alzheimerovu demenciju ili MCI,6,8 ili konverziju iz MCI u Alzheimerovu demenciju.5 Ovi su pristupi manje korisni u kliničkom okruženju jer isključuju druge vrste demencije5,6,8 ili pacijenti koji su inicijalno kognitivno neoštećeni.5 Podaci korišteni u ovim studijama uključivali su snimke pozitronske emisijske tomografije,5,8, i biomarkere cerebrospinalne tekućine,8 koji nisu obično dostupni u klinikama za pamćenje. Studija koju su proveli Lin i suradnici6 prevladala je to korištenjem podataka NACC-a za pronalaženje skupa od 15 neinvazivnih kliničkih varijabli za procjenu rizika pretvorbe iz neoštećene kognicije u MCI u 4-godišnjem razdoblju. Međutim, konstrukt MCI ostaje donekle kontroverzan,32, a stope konverzije između MCI i demencije često su niske.32,33 Naši ML modeli nadopunjuju ove analize i imaju prednost uključivanja samo 6 ključnih varijabli u odnosu na klinički relevantnu vremensku skalu i predviđanja ishod demencije svih uzroka.

Od postojećih modela istraženih u našoj studiji, model CAIDE bio je najmanje precizan u predviđanju rizika od demencije tijekom 2 godine, što nije iznenađujuće, s obzirom na to da je razvijen za predviđanje dugoročnog rizika od demencije u odraslih osoba srednje dobi tijekom mnogo duljeg razdoblja. razdoblje praćenja od 20 godina. BDSI se pokazao boljim od CAIDE-a, vjerojatno odražavajući da je dizajniran za upotrebu kod starijih osoba tijekom umjerenijeg razdoblja praćenja od 6 godina. Međutim, svi ML modeli nadmašili su postojeće modele. Korištenjem svih varijabli, XGB je bio najsnažniji pristup ML-a u predviđanju pacijenata kod kojih je vjerojatno da će im biti dijagnosticirana demencija unutar 2 godine, što sugerira da način na koji se nova stabla odlučivanja osposobljavaju za ispravljanje pogrešaka zadnje tri rezultiraju marginalnim učinkom dobiti. Međutim, XGB se također čini kao pristup koji najmanje može identificirati sudionike koji su doživjeli reverziju, tj. one kojima je inicijalno dijagnosticirana demencija unutar 2 godine i ta im je dijagnoza poništena unutar 2 godine od početne dijagnoze.

Učinkovitost ML modela može se znatno smanjiti pogrešno označenim podacima o obuci.34 Kontraintuitivno, isključivanje pogrešno označenih podataka o obuci ne poboljšava uvijek izvedbu.35 Kako se razina šuma u podacima o obuci povećava, vrijednost isključivanja ili smanjenja te buke opada ako isti šum prisutan je u podacima o validaciji.36 Prema tome, filtriranje podataka o treningu može čak smanjiti podatke o poništenju izvedbe, kao što je utvrđeno u ovoj studiji. Međutim, kada je razina pogrešnog označavanja manja od približno 20 posto do 40 posto, uklanjanje pogrešno označenih podataka može poboljšati točnost validacijskih podataka, čak i ako to uključuje pogrešno označene podatke.35,37,38 Ovo ilustrira važnost istraživanja dijagnostičke stabilnosti u obuci i validacijski podaci: čak i kriterijski standardni podaci sadrže pogreške.

Opažena stopa poništavanja (8 posto) bila je slična onoj pronađenoj u studiji iz 2019. koja se temeljila na drugoj populaciji SAD-a.31 U našoj studiji utvrđeno je da postotak lažno pozitivnih rezultata varira od 7 posto do 19 posto, ovisno o kognitivnim sposobnostima. korištena procjena. Koliko znamo, ovo je prva analiza potencijalnih pogrešnih dijagnoza u NACC UDS-u i sugerira da korištenje ML-a kao kliničke pomoći pri donošenju odluka ima potencijal smanjiti pogrešne dijagnoze lažno pozitivnih do 84 posto. S obzirom na to da su pacijenti koji dožive reverziju granični u dijagnostičkom smislu, iz kliničke perspektive, moglo bi biti razumno da ih se svejedno prati, s obzirom da postoje razlozi za kliničku zabrinutost. Stoga bi XGB mogao biti najbolji model za pomoć pri donošenju kliničkih odluka. Alternativno, skupni pristup koji daje sekundarna predviđanja o vjerojatnoj dijagnostičkoj stabilnosti i potencijalu za pogrešnu klasifikaciju može se pokazati još korisnijim.

Ograničenja

Ova studija ima nekoliko ograničenja. Prvo, i CAIDE i BDSI razvijeni su korištenjem različitih populacija od one korištene u ovoj studiji. Nisu sve varijable korištene za razvoj ovih modela imale točan ekvivalent u UDS-u što je moglo utjecati na njihovu izvedbu u ovom skupu podataka. Drugo, metoda korištena za imputiranje podataka može dovesti do pogreške imputiranja. Konkretno, imputacija zamjenjuje sve vrijednosti koje nedostaju numeričkom vrijednošću, ali neke vrijednosti nedostaju zbog njihovog odnosa s drugom vrijednošću; stoga je činjenica da vrijednost nedostaje informativna. Međutim, dok su sudionici imali prosjek od 14 posto nedostajućih podataka, 6 identificiranih ključnih varijabli nedostajalo je u prosjeku za 1 posto sudionika. Treće, iako je naša studija koristila velik uzorak polaznika klinike za pamćenje u Sjedinjenim Državama, zbog čega su naši rezultati visoko primjenjivi na ovo okruženje, nije poznato u kojoj će se mjeri ti rezultati generalizirati na druge populacije.

Zaključci

Ovo prognostičko istraživanje pokazalo je da su ML modeli nadmašili postojeće modele predviđanja rizika od demencije i da mogu imati potencijal za poboljšanje predviđanja incidentne demencije tijekom 2 godine u klinikama za pamćenje. Šest ključnih čimbenika za rizik od demencije identificiranih u ovoj studiji mogu imati potencijal za poboljšanje kliničke prakse u klinikama za pamćenje ako budu uključeni u buduća klinička pomagala za donošenje odluka.