ביצועים של אלגוריתמים למידת מכונה לניבוי התקדמות לדמנציה בחולי מרפאת זיכרון

איש קשר: Audrey Hu Whatsapp/hp: 0086 13880143964 דוא"ל:audrey.hu@wecistanche.com

שרלוט ג'יימס, Ph.D.; ג'ניס מ' רנסון, Ph.D.; ריצ'רד אוורסון, Ph.D.; דיוויד ג'יי לוולין, דוקטורט

תַקצִיר

חשיבות: אלגוריתמי למידת מכונה יכולים לשמש כבסיס לעזרים קליניים לקבלת החלטות כדי לשפר את הפרקטיקה הקלינית. מטרה להעריך את יכולתם של אלגוריתמים של למידת מכונה לחזות שכיחות דמנציה תוך שנתיים בהשוואה למודלים קיימים ולקבוע את הגישה האנליטית האופטימלית ואת מספר המשתנים הנדרשים. עיצוב, הגדרה ומשתתפים: מחקר פרוגנוסטי זה השתמש בנתונים מקבוצה פרוספקטיבית של 15 307 משתתפים ללא דמנציה בתחילת הדרך כדי לבצע ניתוח משני של גורמים שניתן להשתמש בהם כדי לחזות שכיחות דמנציה. המשתתפים השתתפו במרכז הלאומי לתיאום אלצהיימרזיכרוןמרפאות ברחבי ארצות הברית בין 2005 ל-2015. הניתוחים נערכו ממרץ עד 2 במאי021. חשיפות: 258 משתנים המשתרעים על פני תחומים של מדדים קליניים הקשורים לדמנציה וגורמי סיכון. תוצאות ואמצעים עיקריים: התוצאה העיקרית הייתה אירוע דמנציה מכל סיבה שאובחנה תוך שנתיים מההערכה הבסיסית. תוצאות: במדגם של 15 307 משתתפים (גיל [SD] ממוצע, 72.3 [9.8] שנים; 9129 [60 אחוז ] נשים ו-6178 [40 אחוזים] גברים) ללא דמנציה בתחילת הדרך, 1568 (0 אחוז) קיבלו אבחנה של דמנציה תוך שנתיים מההערכה הראשונית שלהם. בהשוואה ל-2 מודלים קיימים לחיזוי סיכון לדמנציה (כלומר, גורמי סיכון קרדיווסקולריים, הזדקנות ושכיחות של ציון סיכון דמנציה, ומחוון הסקר הקצר לדמנציה), אלגוריתמי למידת מכונה היו עדיפים בניבוי אירועי דמנציה מכל סיבה בתוך שנתיים. לאלגוריתם העצים עם חיזוק השיפוע היה דיוק כולל ממוצע (SD) של 92 אחוז (1 אחוז), רגישות של 0.45 (0.05), ספציפיות של 0.97 (0.01) ושטח מתחת לעקומה של 0.92 (0.01) תוך שימוש בכל ה-258 משתנים. ניתוח בעל חשיבות משתנה הראה כי נדרשו רק 6 משתנים עבור אלגוריתמי למידת מכונה כדי להשיג דיוק של 91 אחוז ושטח מתחת לעקומה של לפחות 0.89. אלגוריתמי למידת מכונה זיהו גם עד 84 אחוז מהמשתתפים שקיבלו אבחנה ראשונית של דמנציה שהפכה לאחר מכן לליקוי קוגניטיבי קל או ללא פגיעה קוגניטיבית, מה שמצביע על אבחנה שגויה אפשרית. מסקנות ורלוונטיות: ממצאים אלו מצביעים על כך שאלגוריתמים של למידת מכונה יכולים לחזות במדויק אירוע דמנציה בתוך שנתיים בחולים המקבלים טיפול ב-זיכרוןמרפאות המשתמשות ב-6 משתנים בלבד. ממצאים אלה יכולים לשמש כדי להודיע ​​לפיתוח ואימות של עזרי קבלת החלטות בזיכרוןמרפאות.

מבוא

חולים רבים שהוערכו במסגרות מומחים, כגוןזיכרוןמרפאות, אין להם דמנציה כשהם לומדים לראשונה.1 הבחנה בין חולים שממשיכים לפתח דמנציה במסגרת זמן רלוונטית מבחינה קלינית לבין אלה שנותרו ללא דמנציה חשובה, שכן ניתן להשתמש בתובנה זו כדי לתעדף חולים לחקירות המשך והתערבויות. זיהוי חולים בסיכון גבוה לפתח דמנציה הוא מאתגר עבור רופאים. גישה אחת היא להתמקד באלה שיש להם הפרעה קוגניטיבית קלה (MCI) בעת הערכתם הראשונית ולהזמין מטופלים אלה למעקב. עם זאת, זה יכול לגרום לסיווג שגוי ניכר עבור חולים שאינם מיועדים למעקב אך מפתחים דמנציה וחולים אשר מיועדים לחקירות נוספות אך אינם מפתחים דמנציה.

רובזיכרוןחולי מרפאה עם MCI אינם מתקדמים לדמנציה אפילו לאחר 10 שנים, עם שיעור המרה שנתי של 9.6 אחוזים .2 עזרי קבלת החלטות קליניים עשויים לשפר את יכולתם של רופאים להעריך את הופעת הדמנציה. עזרי קבלת החלטות קליניים קיימים זמינים להערכת שכיחות דמנציה בטווח בינוני וארוך באוכלוסיות שונות. לדוגמה, גורמי הסיכון הקרדיווסקולריים, ההזדקנות והשכיחות של דמנציה (CAIDE) Risk Score3 תוכננו לחזות את הסיכון לפתח דמנציה בעוד 20 שנה עבור אנשים בגיל העמידה, ומדד הסקר הקצר לדמנציה (BDSI)4 נועד לזהות קשישים חולים למקד לסקר קוגניטיבי על ידי קביעת הסיכון שלהם לפתח דמנציה בעוד 6 שנים. עם זאת, למיטב ידיעתנו, לא פותח עזר קליני לקבלת החלטות לניבוי שכיחות דמנציהזיכרוןמרפאות על פני תקופה קצרה יותר רלוונטית מבחינה קלינית. למידת מכונה (ML) מאפשרת מינוף מידע ממערכי נתונים גדולים ומורכבים. לאחרונה, הוא יושם על אבחון דמנציה וחיזוי סיכונים.5-9

עם זאת, מודלים אלה משלבים לעתים קרובות מידע שאינו זמין בדרך כלל בפרקטיקה קלינית שגרתית, כגון הדמיה עצבית מתקדמת, בדיקות גנטיות וסמנים ביולוגיים של נוזל מוחי, המגבילים את היישום הקליני להגדרות מומחים או מחקר. בדקנו האם ניתן להשתמש בטכניקות ML כדי לחזות את שכיחות דמנציה על פני תקופה של 2-שנה באמצעותזיכרוןנתוני מרפאה מהמרכז הלאומי לתיאום אלצהיימר בארה"ב (NACC). כמו כן, בחנו את קבוצת המשתנים המינימלית הנדרשת למודלים של ML כדי להגיע לביצועי אבחון מלאים.

שיטות

מחקר NACC קיבל אישור אתי מוועדת הביקורת המוסדית של כל אתר לפני שהצליח לתרום נתונים, וכל המשתתפים סיפקו הסכמה מדעת בכתב. מחקר פרוגנוסטי זה נחשב לפטור מאישור אתי מוסדי מכיוון שהשתמשנו בנתונים שנאספו בעבר ללא זיהוי. הנתונים המשמשים במחקר זה זמינים על ידי בקשת נתונים ל-NACC. מחקר זה מדווח בהתאם להנחיית הדיווח השקוף של מודל חיזוי רב-משתני לפרוגנוזה או אבחון אינדיבידואלי (TRIPOD). הנתונים נותחו ממרץ עד מאי 2021.

מדגם מחקר

השתמשנו בנתונים שנאספו בעבר ממערך הנתונים האחיד של NACC (UDS).10 ה-UDS מכיל נתוני עוקבה פרוספקטיביים מהתוכנית הלאומית של המכון הלאומי האמריקאי למחלות אלצהיימר הזדקנות למחקר שיתופי רב-מרכזי על מחלת אלצהיימר והפרעות נוירודגנרטיביות אחרות.11 מערך הנתונים שלנו מורכב של נתוני מרפאת הזיכרון שנאספו בין ספטמבר 2005 לפברואר 2015 מ-30 מרכזי מחלות אלצהיימר הממוקמים בארצות הברית. מערך הנתונים כולל מאפיינים סוציו-דמוגרפיים של משתתף ומשתתף, היסטוריה משפחתית, מצב תפקודי, 12 תסמינים התנהגותיים (מוערכים עם תוצאות שאלון מלאי נוירופסיכיאטרי13), סוללת בדיקות נוירופסיכולוגיות, 14 ואבחון דמנציה קליני NACC, המוקצה על ידי כל מרכז למחלות אלצהיימר תוך שימוש בקריטריונים לאבחון קליני שפורסמו מבוסס על ההערכה הקלינית הסטנדרטית של UDS. פרטים על קריטריוני האבחון שאומצו על ידי פרוטוקול UDS וההנחיות הקשורות פורסמו בעבר.15

השתמשנו בגרסאות UDS 1 ו-2, הכוללות 32 573 משתתפי מרפאת זיכרון עם הערכת בסיס. למרות שהמודלים שלנו נועדו לחזות שכיחות דמנציה תוך שנתיים, כדי לקחת בחשבון את השונות בזמן בין פגישות המעקב, כללנו מעקב שהתרחש בתוך 29 חודשים מהביקור הראשוני כדי להבטיח שהביקור היה הראשון או פגישת מעקב שניה.

משתנה תוצאה

משתנה התוצאה היה אירוע אבחון דמנציה מכל סיבה בתוך 29 חודשים (כשנתיים) מההערכה הבסיסית. זה כולל תתי סוגים של דמנציה, כגון דמנציה אלצהיימר, דמנציה עם גופי Lewy, דמנציה וסקולרית ותתי סוגים נדירים יותר. דמנציה של אלצהיימר אובחנה על פי קריטריונים של NINCSD-ADRDA,16 דמנציה וסקולרית אובחנה על פי קריטריונים של NINDS-AIREN,17 דמנציה בגוף Lewy (LBD) אובחנה על פי הדוח השלישי של הקריטריונים Dementia with Lewy Bodies Consortium,18 ודמנציה פרונטומפורלית אובחן על פי קריטריונים של Neary ועמיתיו משנת 1998.19

מנבאי מועמדים

כללנו את כל המשתנים הרלוונטיים מבחינה קלינית שנאספו במהלך הביקור הראשוני בגרסאות 1 ו-2 של ה-UDS (eTable 1 במוסף). הסרנו משתנים עם ערכי טקסט חופשי, כגון שמות של תרופות ומשתנים שהיו קבועים בכל המשתתפים, כגון מספר ביקור. ארבעה משתנים סינתטיים נוצרו כדי לסייע בהערכת חשיבות המשתנה (יש לדרג את המשתנים הללו נמוך); 3 מהמשתנים הללו היו תמורות של משתנים קיימים (1 בינארי, 1 קטגורי ו-1 משתנה מספרי), ומשתנה אחד נוצר באקראי מהתפלגות נורמלית. זה הביא בסך הכל 258 משתנים.

המשתנים מה-UDS המשולבים במודלים שלנו כוללים מאפיינים דמוגרפיים של משתתפים (15 משתנים), מאפיינים דמוגרפיים של משתתפים (7 משתנים), היסטוריה משפחתית (3 משתנים), היסטוריה רפואית (47 משתנים), תרופות (21 משתנים), פיזית (12 משתנים). ) תוצאות בדיקה נוירולוגיות (4 משתנים), סולם דירוג מחלת פרקינסון מאוחד 20 (UDPRS) (28 משתנים), סולם דמנציה קליני (CDR) 21 (8 משתנים), מצב תפקודי (10 משתנים), סוללת בדיקה נוירופסיכולוגית (50 משתנים) , סולם דיכאון גריאטרי (17 משתנים), והערכה קלינית של סימפטומים (32 משתנים). מתוך משתנים אלה, 239 (93 אחוזים) היו חסרים עבור משתתף אחד לפחות, ולכל המשתתפים היה לפחות משתנה אחד חסר.

פיתוח מודלים

יישמנו 4 אלגוריתמים ML22: רגרסיה לוגיסטית (LR),23 מכונה וקטורית תומכת (SVM),24 יער אקראי (RF),25,26 ועצים בעלי שיפוע (XGB)27 (שיטות אלקטרוניות במוסף). אלגוריתמים אלה מבצעים משימת סיווג: הם קובעים אם משתתף נופל לכיתה 0 (הצפוי להישאר נקי מדמנציה 29 חודשים מהבסיס) או לכיתה 1 (הצפוי לחוות דמנציה מקרית בתוך 29 חודשים מהבסיס). הסיווג מבוסס על משתנים שנרשמו בביקורם הראשון במרפאת הזיכרון (הבסיסית). כדי ליישם את האלגוריתמים של ה-ML, השתמשנו בספריית Python Sci-kit-learn (Python Software Foundation),28 עם 5-אימות צולב כפול (eMethods בתוספת). ערכים חסרים נזקפו על ידי דגימה עם החלפה מערכים לא חסרים. כל עיבוד וניתוח הנתונים הוטמעו בגירסת Python 3.9, NumPy גרסה 1.19.4, ובגרסת Sci-kit-learn 0.24.0.

ניתוח סטטיסטי

הערכת מודל

הערכנו את הביצועים של כל המודלים על-ידי השוואת הדיוק, הרגישות והספציפיות הכוללים שלהם עבור ספי החלטה שצוינו מראש בספרות (מודלים קיימים) או סף של 0.5 (מודלים של ML), המשקל באופן שווה את חיובי-שווא. ושגיאות שליליות שגויות. השטח שמתחת לעקומת המאפיין ההפעלה של המקלט (AUC)29 שימש לסיכום ביצועי המודל על פני כל הספים האפשריים ובכך שקלול שגיאות בסיווג שגוי.30 מדדי ביצועים ממוצעים ו-SDs הושגו באמצעות bootstrapping (eMethods בתוספת).

השוואה לדגמים קיימים

ה-BDSI ו-CAIDE הם מודלים קיימים לחיזוי סיכון לדמנציה המעניקים למטופלים ציון המייצג את הסיכון שלהם לפתח דמנציה לאורך טווחי זמן ארוכים יותר. כדי לגזור את ציוני הסיכון BDSI ו-CAIDE, בחרנו משתנים מה-UDS המתאימים ביותר למשתנים ששימשו בעבר (eTable 2 במוסף). הביצועים של דגמי ה-ML שלנו הושוו לאלה של BDSI ו-CAIDE לצורך ניבוי שכיחות דמנציה של 2-שנה.

ביצועי מודל על פני תת-סוגי דמנציה

לדמנציה יכולות להיות מגוון סיבות, התואמות לתתי סוגים שונים של דמנציה. כדי להעריך את יכולתם של מודלים של ML לזהות תת-סוגים שונים של דמנציה, חילקנו את מקרי הדמנציה המקרים לדמנציה של אלצהיימר, LBD, דמנציה וסקולרית ותת-סוגים אחרים של דמנציה. באמצעות 4 הריבודים הללו, חישבנו את אחוז המשתתפים שסווג נכון (שיעור חיובי אמיתי) והשווינו את עקומות ה-ROC עבור כל מודל ML.

חקירת יציבות אבחון

ידוע כי האבחנה הקלינית של דמנציה משלבת מטופלים אשר אובחנו בטעות בתחילה (למעשה גם שגיאות חיוביות כוזבות וגם שגיאות שליליות כוזבות).31 אנו מגדירים החזרה ככאשר משתתף אשר אובחן עם דמנציה עד שנתיים לאחר ביקורו הראשון במרפאת הזיכרון. ובהמשך מקבל אבחנה של אין דמנציה (או MCI או קוגניציה ללא הפרעה) תוך שנתיים מאבחון הדמנציה שלהם. הנימוק לכך שהחזרות אלו הן אבחנות לא יציבות וככל הנראה היו תוצאה של אבחון שגוי של דמנציה, חקרנו את דיוק הסיווג של מודלים של ML במדגם של משתתפים עם היפוך (שיטות eMethods בתוספת). השתמשנו בפונקציית ההפצה המצטברת (CDF) של ציוני הסיווג שהוצאו על ידי כל מודל ML כדי להשוות בין משתתפים עם היפוך עם חולים שאכן פיתחו דמנציה וחולים שנותרו ללא דמנציה.

תוצאות

לאחר אי הכללת משתתפים של {{0}} עם אבחנה של דמנציה בתחילת הדרך, 4557 משתתפים שלא היו להם נתוני מעקב, ו-573 משתתפים שעברו מעקב ראשון יותר מ-29 חודשים לאחר הביקור הראשון שלהם , המדגם האנליטי הסופי הכיל 15 307 משתתפים (גיל [SD] ממוצע, 72.3 [9.8] שנים; 9129 [60 אחוז ] נשים ו-6178 [40 אחוז] גברים). מאפייני המדגם מוצגים בטבלה 1. בתוך שנתיים מנקודת ההתחלה, 1568 משתתפים (10 אחוזים) קיבלו אבחנה של דמנציה. מתוך 1568 משתתפים שקיבלו אבחנה של דמנציה, 273 (17 אחוזים) אובחנו על ידי רופא יחיד, ו-1216 (78 אחוזים) אובחנו על ידי פאנל קונצנזוס; עבור 79 משתתפים (5 אחוזים), מקור האבחנה לא צוין. מדדי ביצועים מרכזיים המעריכים את כוח הניבוי של כל מודל ניתנים בטבלה 2. בהשוואה למודלים קיימים, מודלים של ML היו עדיפים ביכולתם לחזות אם אדם יפתח דמנציה תוך שנתיים, והם עלו על המודלים הקיימים בכל המדדים. כל דגמי ה-ML ביצעו ביצועים טובים באופן דומה, כאשר ל-XGB יש את ההספק הגדול ביותר כאשר נמדד לפי דיוק כולל (92 אחוז) ו-AUC (ממוצע [SD], 0.92 [0.01]). עקומת מאפיין ההפעלה של המקלט עבור כל דגם מדגימה את הדמיון בין דגמי ה-ML ואת עליונותם בהשוואה ל-2 מודלי הסיכון הקיימים (איור 1).

ביצועי מודל על פני תת-סוגי דמנציה

כדי להעריך את ביצועי מודל ה-ML בתתי-סוגים שונים של דמנציה, חילקנו את האוכלוסייה ל-4 תת-סוגי דמנציה: דמנציה אלצהיימר (1285 משתתפים), LBD (82 משתתפים), דמנציה וסקולרית (21 משתתפים) ותתי-סוגים אחרים של דמנציה (180 משתתפים). מודל ה-LR היה הטוב ביותר בזיהוי דמנציה של אלצהיימר ותתי סוגים אחרים, וסווג נכון 589 משתתפים (46 אחוז) עם דמנציה של אלצהיימר ו-99 משתתפים (55 אחוז) עם תת-סוגים אחרים. מודל ה-SVM התפקד בצורה הטובה ביותר במשתתפים עם LBD, וסווג נכון 40 משתתפים (49 אחוז). כל המודלים סיווגו נכון 7 משתתפים (33 אחוז) עם דמנציה וסקולרית. עקומות אופייני תפעול של מקלט מוכיחות שכל הדגמים פעלו בערך באותה מידה בכל תת-סוג (איור 1 במוסף).

.

חקירת מספר מינימלי של משתנים

חסרון פוטנציאלי אחד של שימוש בגישת ML הוא המספר הרב של משתנים המעורבים. ככל שמספר המשתנים הנדרשים על ידי מודל גדל, היישום בסביבה קלינית הופך פחות מעשי והפרשנות של המודל נפגעת. כדי להעריך כמה משתנים כל מודל ML נדרש כדי להשיג את כוח הניבוי המקביל למה שמצאנו באמצעות כל 258 המשתנים (טבלה 2), הערכנו כיצד AUC השתנה עם מספר המשתנים הכלולים במודלים. באופן ספציפי, דירגנו את המשתנים עבור כל מודל על ידי מיון שלהם בסדר חשיבות יורד (כלומר, כוח ההבחנה של כל משתנה לפי האלגוריתם; eMethods בתוספת). לאחר מכן אימנו מחדש כל מודל עם מספר הולך וגדל של משתנים, החל מהחשובים ביותר. מצאנו כי כל המודלים דרשו רק 22 משתנים כדי להשיג ביצועים אבחוניים בלתי מובחנים סטטיסטית מהביצועים הממוצעים האופטימליים שלהם (איור 2; eFigure 2 במוסף). המשתנים הסינתטיים שנוספו כדי להבטיח את תקפות הערכת חשיבות המשתנים לא היו ב-22 המשתנים המובילים בשום מודל, מה שמשקף את העובדה שלאחר השגת ביצועי האבחון המלאים, היה מידע מועט לקביעת דירוג המשתנים.

זיהוי גורמי סיכון מרכזיים

מתוך 22 המשתנים החשובים ביותר עבור כל מודל, רק 5 היו משותפים לכל המודלים (כלומר, שיפוט קליני של ירידה בזיכרון, יכולות קוגניטיביות, התנהגות, יכולת לנהל עניינים או שינויים מוטוריים ותנועתיים; זמן להשלים את מבחן יצירת השבילים חלק ב'; CDR: ליקוי בהתמצאות; CDR: ליקוי ביתי ותחביבים; ורמת עצמאות). מבין המשתנים הנותרים, היו 10 זוגות בעלי מתאם גדול מ-0.7, מה שמצביע על כך שהם משתנים דומים (eTable 3 במוסף). בהתחשב במתאם זה על ידי החלפת משתנים שהיו בקורלציה גבוהה, מצאנו שיש 6 משתנים מנבאים מאוד (שיפוט קליני של ירידה, זמן להשלמת מבחן יצירת מסלולים חלק ב', 3 מרכיבים של CDR [התמצאות, זיכרון, בית ותחביבים ליקוי], ורמת עצמאות) שהיו משותפים לכל המודלים של ML (eTable 4 במוסף). אימון כל מודל תוך שימוש במשתנים אלו בלבד, מצאנו כי עבור LR ו-XGB, לא הייתה ירידה משמעותית בביצועי האבחון: באמצעות מערכת הליבה הזו של 6 משתנים, למודלים אלו היה דיוק ממוצע (SD) של 91 אחוז (0 אחוז ) עבור LR ו-91 אחוז (1 אחוז ) עבור XGB וממוצע (SD) AUC של 0.89 (0.01) עבור LR ו-0.89 (0.02) עבור XGB (eTable 5 במוסף).

יציבות אבחנתית מתוך 1568 משתתפים שקיבלו אבחנה של דמנציה תוך שנתיים, זיהינו 130 (8 אחוזים) כחווים היפוך שכנראה אובחנו בטעות בתחילה ולכן תויגו בצורה שגויה למטרות ML. מצאנו שבעוד שהחזרות דווחו רק ב-0.8 אחוז מהמשתתפים, הם היוו 92 עד 109 משתתפים (7 אחוזים -8 אחוזים) מהמשתתפים שסווגו בצורה שגויה, עם כמות קטנה של שונות בין המודלים (טבלה 3). מודל ה-RF היה בעל היציבות האבחנתית הגבוהה ביותר, וזיהה נכונה 109 מתוך 130 משתתפים עם היפוך (84 אחוזים) על ידי סיווגם כצפוי להיות נקיים מדמנציה לאחר שנתיים. כדי לחקור את יציבות האבחון של מודלים של ML, הסרנו את המשתתפים עם היפוך במהלך האימון (שיטות eMethods במוסף). לאחר אימון מחדש של המודלים ללא היפוך, מצאנו ש-RF זיהה 106 משתתפים שחוו היפוך (חציון [IQR], 82 אחוז [78 אחוז -82 אחוז ]), SVM זיהה 93 משתתפים שחוו היפוך (חציון [IQR], 72 אחוז [69 אחוז -74 אחוז ]), ו-LR ו-XGB זיהו שניהם 92 משתתפים שחוו היפוך (חציון [IQR], 71 אחוז [68 אחוז -75 אחוז ]). IQRs הושגו על ידי אתחול משתתפים שחוו החזרה.

כדי להבין את ההבדל בין משתתפים שסווגו בצורה שגויה, משתתפים עם היפוך ומשתתפים שפיתחו דמנציה ללא היפוך, ניתחנו את ה-CDFs של ציוני הסיווג שהתקבלו מכל מודל ML. מצאנו כי הציונים של משתתפים שסווגו בצורה שגויה, ושל משתתפים ספציפיים עם היפוך, היו שונים ממשתתפים שפיתחו דמנציה ומאלה שלא (איור 3 במוסף). ציוני ה-CDF של ציוני הסיווג עבור משתתפים שלא פיתחו דמנציה נפלו בקצה השמאלי של כל חלקה, מה שמצביע על כך שמודלים של ML הקצה למשתתפים אלה סבירות נמוכה לפתח דמנציה. לעומת זאת, עבור משתתפים שאכן פיתחו דמנציה, ה-CDFs נפלו מימין לחלקות: נקבעה להם סבירות גבוהה לפתח דמנציה. עבור כל המודלים, התפלגות הציונים של משתתפים עם היפוך ירדה משמאל לזו של משתתפים שאכן פיתחו דמנציה, כלומר משתתפים עם היפוך הוערכו כבעלי סבירות נמוכה יותר לפתח דמנציה על פי מודלים אלה.

דִיוּן

במחקר פרוגנוסטי זה, לאלגוריתמי ML היה דיוק פרוגנוסטי מעולה בהשוואה ל-BDSI ו-CAIDE בחיזוי שכיחות דמנציה בתוך שנתיים מההערכה הראשונה של מרפאת הזיכרון של המטופל. שניים מאלגוריתמי ML הוערכו כדי להשיג דיוק של 91 אחוז ו-AUC של 0.89 עם 6 משתני מפתח בלבד. ניתוחי רגישות מצביעים על כך שמודלים של ML יכולים לסווג נכון חלק גבוה של משתתפים שחוו היפוך שעשויים אובחנו בטעות בתוך שנתיים מביקורם הראשוני. למחקר זה יש מספר חוזקות, כולל המדגם הגדול של מטופלים שמקורם במספר מרפאות זיכרון ברחבי ארצות הברית, המגוון הרחב של טכניקות ML בשימוש, השוואת מודלים סיכון קיימים, וחקר יציבות אבחון ואבחון שגוי סביר.

מחקרים קודמים על השימוש ב-ML לניבוי סיכון לדמנציה התמקדו בהמרה מקוגניציה ללא הפרעה לדמנציה אלצהיימר או MCI,6,8 או המרה מ-MCI לדמנציה של אלצהיימר.5 גישות אלו פחות שימושיות בסביבה קלינית, מכיוון שהן אינן כוללות סוגים אחרים של דמנציה5,6,8 או חולים שאינם לקויים קוגניטיבית בתחילה.5 הנתונים ששימשו במחקרים אלה כללו סריקות טומוגרפיה פליטת פוזיטרונים,5,8 וסמנים ביולוגיים של נוזל מוחי,8 מהם אינם זמינים בדרך כלל במרפאת זיכרון. מחקר של Lin et al6 התגבר על כך על ידי שימוש בנתוני NACC כדי למצוא קבוצה של 15 משתנים קליניים לא פולשניים כדי להעריך את הסיכון להמרה מקוגניציה ללא הפרעה ל-MCI בתקופה של 4-שנה. עם זאת, המבנה של MCI נותר שנוי במחלוקת במקצת,32, ושיעורי ההמרה בין MCI לדמנציה הם לרוב נמוכים.32,33 המודלים של ML שלנו משלימים את הניתוחים הללו ויש להם יתרון של שילוב של 6 משתני מפתח בלבד על פני לוח זמנים רלוונטי מבחינה קלינית וחיזוי תוצאה של דמנציה מכל סיבה.

מבין המודלים הקיימים שנחקרו במחקר שלנו, מודל CAIDE היה הכי פחות מדויק בניבוי סיכון לדמנציה במשך שנתיים, וזה לא מפתיע, בהתחשב בכך שהוא פותח כדי לחזות סיכון לדמנציה לטווח ארוך במבוגרים בגיל העמידה לאורך זמן רב יותר. תקופת מעקב של 20 שנה. ה-BDSI פעל טוב יותר מה-CAIDE, מה שמשקף ככל הנראה שהוא תוכנן לשימוש במבוגרים לאורך תקופת מעקב מתונה יותר של 6 שנים. עם זאת, כל דגמי ה-ML עלו על הדגמים הקיימים הללו. תוך שימוש בכל המשתנים, XGB הייתה גישת ה-ML החזקה ביותר בניבוי חולים אשר צפויים להיות מאובחנים עם דמנציה תוך שנתיים, דבר המצביע על כך שהדרך שבה עצי החלטה חדשים מאומנים לתקן את השגיאות של שלושת האחרונים מביאה לביצועים שוליים. לְהַשִׂיג. עם זאת, נראה היה ש-XGB היא גם הגישה הפחות מסוגלת לזהות משתתפים שחוו היפוך, כלומר אלו שאובחנו בתחילה עם דמנציה תוך שנתיים והאבחנה הזו הופכת תוך שנתיים מהאבחנה הראשונית.

ניתן להפחית במידה ניכרת את הביצועים של מודלים של ML על ידי נתוני אימון שגויים.34 באופן מנוגד לאינטואיטיביות, אי הכללה של נתוני אימון שגויים לא תמיד משפרת את הביצועים.35 ככל שרמת הרעש בנתוני האימון עולה, הערך של אי הכללה או הפחתת רעש זה יורד אם אותו רעש קיים בנתוני האימות.36 לפיכך, סינון נתוני אימון עשוי אפילו להפחית את נתוני אי תוקף הביצועים, כפי שנמצא במחקר זה. עם זאת, כאשר רמת התיוג השגוי היא פחות מ-20% עד 40% בערך, הסרת נתונים שגויים יכולה לשפר את דיוק נתוני האימות, גם אם זה משלב נתונים שגויים. נתוני אימות: אפילו נתונים סטנדרטיים של קריטריונים כוללים שגיאות.

שיעור ההחזרה שנצפה (8 אחוזים) היה דומה לזה שנמצא במחקר משנת 2019 המבוסס על אוכלוסיה אחרת בארה"ב. 31 במחקר שלנו, נמצא כי אחוז התוצאות החיוביות השגויות נע בין 7 אחוזים ל-19 אחוזים, בהתאם לקוגניטיבית. נעשה שימוש בהערכה. למיטב ידיעתנו, זהו הניתוח הראשון של אבחנה שגויה פוטנציאלית ב-NACC UDS ומציע כי שימוש ב-ML ככלי עזר קליני לקבלת החלטות יש לו פוטנציאל להפחית את האבחון השגוי של תוצאות חיוביות כוזבות בעד 84 אחוזים. בהתחשב בעובדה שמטופלים שחווים היפוך גבול במובן האבחוני, מנקודת מבט קלינית, זה עשוי להיות הגיוני שעוקבים אחריהם בכל מקרה, בהתחשב בכך שיש עילה לדאגה קלינית. לפיכך, XGB עשוי להיות המודל הטוב ביותר לסיוע בקבלת החלטות קלינית. לחלופין, גישת אנסמבל המביאה תחזיות משניות לגבי יציבות אבחנתית סבירה והפוטנציאל לסיווג שגוי עשויה להיות שימושית עוד יותר.

מגבלות

למחקר זה מספר מגבלות. ראשית, גם CAIDE וגם BDSI פותחו תוך שימוש באוכלוסיות שונות לזו ששימשה במחקר זה. לא לכל המשתנים ששימשו לפיתוח המודלים הללו הייתה מקבילה מדויקת ב-UDS, אשר עשויה להשפיע על הביצועים שלהם במערך נתונים זה. שנית, השיטה המשמשת לזקיפת הנתונים עלולה לגרום לשגיאת זקיפה. באופן ספציפי, הזקיפה מחליפה את כל הערכים החסרים בערך מספרי, אך חלק מהערכים חסרים בגלל הקשר שלהם עם ערך אחר; לכן, העובדה שחסר ערך היא אינפורמטיבית. עם זאת, בעוד שלמשתתפים היה ממוצע של 14 אחוזים חסרים נתונים, 6 משתני המפתח שזוהו היו חסרים עבור ממוצע של 1 אחוז מהמשתתפים. שלישית, למרות שהמחקר שלנו השתמש במדגם גדול של משתתפי מרפאת זיכרון בארצות הברית, מה שהופך את התוצאות שלנו למאוד ישימות למסגרת זו, מידת ההכללה של תוצאות אלו לאוכלוסיות אחרות אינה ידועה.

מסקנות

מחקר פרוגנוסטי זה מצא כי מודלים של ML עלו על מודלים קיימים של חיזוי סיכון לדמנציה ועשויים להיות בעלי פוטנציאל לשפר את החיזוי של דמנציה מקרית במשך שנתיים במרפאות זיכרון. שישה גורמי מפתח לסיכון לדמנציה שזוהו במחקר זה עשויים להיות בעלי פוטנציאל לשפר את הפרקטיקה הקלינית במרפאות זיכרון אם ישולבו בעזרים עתידיים לקבלת החלטות קליניות.