זיכרון כפול LSTM עם רשת עצבית כפולה לתשומת לב לחיזוי מרחבי-זמני

איש קשר:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791

תַקצִיר

חיזוי מרחבי-זמני הוא מאתגר בשל הוצאת ייצוגים שאינה יעילה והיעדר תלות קונטקסטואלית עשירה. מוצעת גישה חדשה לחיזוי מרחבי-זמני באמצעות דואלזיכרוןLSTM עם רשת עצבית כפולה (DMANet). יחידת זיכרון כפול LSTM (DMLSTM) חדשה מוצעת לחלץ את הייצוגים על ידי מינוף פעולות הבדל בין התמונות הרצופות ואימוץ כפולזיכרוןמנגנון מעבר. כדי לעשות שימוש מלא בייצוגים היסטוריים, מנגנון קשב כפול מתוכנן ללכוד תלות מרחבית-זמנית ארוכת טווח על ידי חישוב המתאמים בין הייצוגים הנסתרים כיום לבין הייצוגים ההיסטוריים הנסתרים מממדים זמניים ומרחביים, בהתאמה. לאחר מכן, תשומת הלב הכפולה מוטמעת ביחידת DMLSTM כדי לבנות DMANet, המאפשרת למודל כוח דוגמנות גדול יותר עבור דינמיקה קצרת טווח וייצוגים הקשריים ארוכי טווח. מערך נתונים של מפת התנגדות לכאורה (AR Map) מוצע במאמר זה. שיטת האינטרפולציה B-spline משמשת כדי לשפר את מערך הנתונים של מפת AR והופכת את עקומת מגמת ההתנגדות לכאורה לנגזרת רציפה בממד הזמן. תוצאות הניסוי מראות שלשיטה שפותחה יש ביצועי חיזוי מצוינים בהשוואה לכמה שיטות מתקדמות.

מילות מפתח: חיזוי מרחבי-זמני; כָּפוּלזיכרוןLSTM; תשומת לב כפולה; ייצוגים היסטוריים

1. הקדמה

חיזוי מרחבי-זמני הוא לימוד ייצוגים באופן לא מפוקח מנתוני וידאו ללא תווית ושימוש בהם לביצוע משימת חיזוי, שהיא משימת ראייה ממוחשבת טיפוסית. נכון לעכשיו, החיזוי המרחבי-טמפורלי יושם על כמה משימות בהצלחה, כגון חיזוי עתידי של מיקומי אובייקט [1,2], זיהוי חריגות [3] ונהיגה אוטונומית [4]. מודלים מבוססי למידה עמוקה עושים קפיצת מדרגה על פני הגישות המסורתיות מכיוון שהם למדו ייצוגים נאותים מנתונים גבוהים. שיטות למידה עמוקה משתלבות בצורה מושלמת במשימת החיזוי המרחבי-זמני, שיכולה לחלץ מתאמים מרחבי-זמניים מנתוני וידאו באופן בפיקוח עצמי. עם זאת, חיזוי מרחב-טמפורלי הוא עדיין משימה מאתגרת בשל הבעיה של חילוץ ייצוגים בצורה לא יעילה והיעדר תלות ארוכת טווח. לדוגמה, Convolutional LSTM (ConvLSTM) [5] פותח כדי לחלץ עוד ייצוגים זמניים אך הוא מתעלם מייצוגים מרחביים. שיטות מסוימות [6,7] השיגו תוצאות חיזוי מדויקות, אך הן גורמות לאובדן ייצוג. שיטת היריבות יושמה במשימות חיזוי [8,9]. עם זאת, הם [8,9] תלויים באופן משמעותי בתהליך האימון הלא יציב.

בית ספר 1 להנדסת תקשורת ומידע, אוניברסיטת שנגחאי, שנגחאי 200444, סין

2 מעבדת מפתח לתצוגה ויישום מערכת מתקדמים, משרד החינוך, שנחאי 200072, סין

רומן דואליזיכרוןLSTM עם רשת עצבית כפולה (DMANet) הוצע עבור חיזוי מרחבי-זמני במאמר זה כדי לפתור את הבעיות שהוזכרו. יחידת זיכרון כפול LSTM (DMLSTM) המבוססת על ConvLSTM [5] פותחה עבור DMANet לביצוע חיזוי מרחבי-זמני. ניתן ליישם אותו כדי לקבל ייצוגים של תנועה על ידי הבדל בין מצבים נסתרים סמוכים או תמונות גולמיות כראוי. חוץ מזה, יש לו מבני זיכרון כפולים לאחסון מידע מרחבי ומידע זמני. מנגנון קשב כפול מוצע ומוטבע ביחידת DMLSTM כדי לחלץ תלות ארוכת טווח בתכונה מממדים זמניים ומרחביים, בהתאמה, מה שמאפשר למודל שפותח ללכוד דינמיקת וידאו מורכבת ארוכה יותר. בהשוואה לשיטות החיזוי המרחב-טמפורלי לעיל, התרומות העיקריות של מאמר זה הן כדלקמן. ראשית, הוצעה יחידת DMLSTM חדשה לביצוע ייצוגים לחלץ, שניתן ליישם עבור חיזוי מרחבי-זמני על ידי מינוף פעולות הבדל בין התמונות הרצופות ואימוץ כפולזיכרוןמנגנון מעבר. שנית, מנגנון קשב כפול פותח כדי לקבל את אינטראקציות המסגרת ארוכות הטווח. אינטראקציות המסגרת ארוכות הטווח נלכדות על ידי חישוב המתאם בין הייצוגים הנסתרים כעת לבין הייצוגים ההיסטוריים הנסתרים מהממד הזמני והמרחבי, בהתאמה. לבסוף, תרומה חשובה היא שה-DMANet משלב את שני היתרונות. תכנון אדריכלי כזה מאפשר למודל כוח דוגמנות גדול יותר עבור דינמיקה קצרת טווח וייצוגים הקשריים ארוכי טווח. השיטה המוצעת מוערכת בכמה מערכי נתונים מאתגרים עם שיטות שונות. הוא משיג ביצועים מצוינים בהשוואה לכמה שיטות מתקדמות. תוצאות הניסוי מראות שלשיטה המוצעת יש ביצועי חיזוי מרחבי-זמני מצוינים.

יתרונות cistancheבזיכרון

שאר מאמר זה מאורגן באופן הבא. עבודה קשורה נדונה בסעיף 2. הדואליזיכרוןLSTM עם מנגנון קשב כפול מתואר בסעיף 3. תוצאות וניתוחי ניסויים נדונים בסעיף 4 ואחריהם מסקנות בסעיף 5.

2. סקירת ספרות

במהלך העשור האחרון, הוצעו שיטות רבות לחיזוי מרחב-טמפורלי. רשת עצבית חוזרת (RNN) [10] עם טווח ארוך קצרזיכרון(LSTM) [11] יושמה יותר ויותר למשימות חיזוי בשל היכולות שלו ללמוד ייצוגים של רצף וידאו. בשנים האחרונות, מסגרת LSTM המבוססת על מודל רצף לרצף [12] הותאמה לחיזוי וידאו. ובכל זאת, דיוק החיזוי מוגבל בשל העובדה ששיטות המסגרת הללו [12] לוכדות רק וריאציות זמניות. על מנת לחלץ עוד ייצוגי וידאו, ConvLSTM [5] מחליף פעולות מחוברות במלואן בפעולות קונבולציה במעברי מצב חוזרים. מוצעת מסגרת מבוססת למידה עמוקה [13] כדי לשחזר את הנתונים החסרים כדי להקל על ניתוח עם סדרות מרחביות-זמניות. עם זאת, זה יגדיל את העלות החישובית הנוספת ויוריד את יעילות החיזוי. היחידה המשוגרת החוזרת המוגדרת מוצגת ב-[14], המנצלת מקודדים אוטומטיים חוזרים כדי לחזות את המסגרת הבאה במקרים מסוימים. שיטת ריבוי פלטים ורב אינדקס של למידה מפוקחת [15] עם LSTM [11] מוצעת לחיזוי מרחבי-טמפורלי, שיכולה לדמות את הדינמיקה ארוכת הטווח. במרדף אחר הקלה על היעלמות שיפוע, LSTM קונבולוציוני מורחב ב-[6,7] מציג יחידת זרימת זיכרון זיגזג ו-GHU (GHU). נעשה שימוש בשיטה מעודכנת מבוססת למידה עמוקה לשיפור יכולת החיזוי. גרסה של ASAP הנקראת "מערכת ASAP עמוקה", מוצעת ב-[16]. עיוות זרימה אופטית ואלגוריתמים של סינתזת פיקסלים RGB [17] נוצלו לביצוע חיזוי מרחבי-זמני. רשת זיכרון בזיכרון (MIM) מוצעת עבור משימות הניבוי ב [18]. ההבדל שלו מהמודלים החוזרים שהוזכרו לעיל הוא ש-MIM [18] חל על הבדלים במעברי זיכרון כדי להפוך את הפולינום המשתנה בזמן לקבוע, מה שמאפשר לחזות את הרכיב הדטרמיניסטי. עם זאת, שיטות אלה [14-18] עדיין מאתגרות לבצע חיזוי לטווח ארוך מאחר ומעברי שער מוגזמים יגרמו לאובדן ייצוגים.

יתרונות cistanche deserticolaבזיכרון

בנוסף למודלים החוזרים, מודלים אחרים משמשים גם לחיזוי מרחב-טמפורלי. רשת בדיעבד מוצעת ב-[19], המציגה אובדן רטרוספקטיבי כדי לדחוף את מסגרות הראיה בדיעבד כך שיהיו עקביות עם המסגרות הנצפות. על מנת להתמודד עם חוסר האיזון בנתונים, פותח אלגוריתם ניקוי שכונות ב- [20]. אלגוריתם יער אקראי מחלץ את התכונות האופטימליות לביצוע משימת החיזוי. מקודד אוטומטי וריאצי מאומץ כדי לחלץ תכונות דינמיות לא ליניאריות ב-[21]. מודל זה מנתח את המתאמים בין משתנים ואת הקשרים בין מדגמים היסטוריים למדגמים הנוכחיים. מודול עם תשומת לב רחבה ומודול המורכב העמוק משמשים ב-[22] כדי לחלץ תכונות מפתח גלובליות ותכונות מפתח מקומיות. עם זאת, שיטות אלו [19-22] תלויות במידה מסוימת בייצוגים מקומיים, אשר אינם יכולים להשיג ביצועים מצוינים במשימות חיזוי. רשת עצבית מלאכותית [23] הוצעה למודל של המאפיינים הייחודיים של נתונים מרחבי-זמניים ומפיקה יכולת מידול חזקה יותר לנתונים מרחבי-זמניים. מערכת חיזוי מרחבי-זמני [24] פותחה כדי להתמקד במודלים מרחביים ובשחזור האות המרחבי-זמני המלא. שיטה זו מראה את האפקטיביות של מודלים של שדות מרחביים-זמניים קוהרנטיים. הרשת העצבית המעורבת הוצעה למודל של הדפוס הדינמי וללמוד ייצוגי מראה בהתבסס על מסגרות וידאו נתונות ב- [25]. 3D CNN משמש לתוך RNN ב [26], אשר מרחיב ייצוגים בממד הזמני והופך אתזיכרוןחנות יחידה ייצוגים טובים יותר לטווח ארוך. עם זאת, פעולות קונבולוציוניות [24-26] אחראיות לתלות תוך-מסגרת קצרת טווח בשל שדות הקליטה המוגבלים שלהן והיעדר יכולות מפורש של דוגמנות בין-פריים. הרשתות היריביות הגנרטיביות [8] הן גישה נוספת לחיזוי מרחב-טמפורלי. שיטה אוטומטית משתנה מותנית הוצעה ב[9] על ידי הפקת מסלולים אנושיים עתידיים המותנים על תצפיות קודמות ופעולות רובוט עתידיות. שיטות החיזוי [8,9] שואפות ליצור פריימים מטושטשים פחות, אך הביצועים שלהן תלויים באופן משמעותי בתהליך האימון הלא יציב.

מנגנון תשומת לב עצמית מוצע ב- [27], שניתן ליישם כדי ללכוד תלות ארוכת טווח והוכח כיעיל בצבירה של מאפיינים בולטים בין כל העמדות המרחביות במשימות ראייה ממוחשבת [28-30]. בלוק קשב כפול מוצע ב-[28], המשלב את תכונות החלל כולו לסט קומפקטי, ולאחר מכן בוחר ומקצה תכונות לכל מיקום בצורה אדפטיבית. על מנת לנצל את המידע ההקשרי בצורה יעילה יותר, רשת צולבת [29] הציגה מודול קשב צולב כדי לקבל את המידע ההקשרי של כל הפיקסלים, מה שמועיל לבעיות הבנה חזותית. בנוסף, בניגוד לשיטות היתוך תכונות מרובות קנה מידה, מוצעת רשת קשב כפולה [30] כדי לשלב תכונות מקומיות עם תלות גלובלית בצורה אדפטיבית. עם זאת, לא ניתן להשתמש בהם כדי להתמודד עם משימות חיזוי עקב היעדר תלות מרחבית-זמנית.

לסיכום, מודלים של חיזוי קודמים מניבים חסרונות שונים. בשונה מעבודות קודמות, אנו מעצבים גרסה חדשה של ConvLSTM [5] כדי לאחסן ייצוגי מצב ולהרחיב את מנגנון הקשב במשימה של חיזוי מרחבי-זמני. ארכיטקטורה זו לוכדת קשרי הקשר עשירים עבור ייצוגי תכונות טובים יותר עם קומפקטיות תוך-מחלקה.

טבלה 1 מציגה את ראשי התיבות המשמשים במאמר עם הגדרה של המושג.

3. DMA Neural Network

תרשים זרימה של DMANet מוצג באיור 1. הייצוגים מופקים מ-DMANet בהינתן מסגרות הקלט. הייצוגים מציינים תוצאות חיזוי וניתן להשתמש בהם כדי לחזות את הייצוגים הבאים.

בחלק זה, הפרטים של ה-DMANet יינתנו. ראשית, יחידת DMLSTM חדשה מוצגת בסעיף 3.1. לאחר מכן, מנגנון קשב כפול מוצע בסעיף 3.2, המאפשר למודל להפיק תועלת מהייצוגים הרלוונטיים הקודמים. לבסוף, הם מצטברים יחד כדי לבנות DMANet עבור חיזוי מרחב-טמפורלי, אשר מפורט בסעיף 3.3.

3.1. זיכרון כפול LSTM

הוא מואר על ידי PredRNN plus plus [7], שמוסיף עוד שכבות לא ליניאריות כדי להגדיל את עומק הרשת ולחזק את יכולת המודלים עבור מתאמים מרחביים ודינמיקה זמנית. עם זאת, בעיית התפשטות השיפוע הופכת לקשה יותר ויותר עם הגדלת עומק הרשת, גם אם GHU [7] מקל עליה במידה מוגבלת. חלק מהעבודות[6,7,14] אינן מתפקדות היטב בחילוץ הייצוגים של רצפים מרחבי-זמניים על פני מעברי שער מוגזמים, מכיוון שהיא עלולה לגרום באופן בלתי נמנע לאובדן הייצוגים. לכן, תלות מרחבית ארוכת טווח ניתנת ללכוד על ידי שכבות קונבולציה מוערמות. עם זאת, האפקטיביות של יכולת המודלים לדינמיקה מרחבית-זמנית מוגבלת בשל המעבר המורכב בין כיס לשכבה.

יחידה חוזרת חדשה בשם DMLSTM פותחה כדי לבצע חיזוי מרחבי-זמני כדי להתגבר על המגבלות שהוזכרו לעיל, כפי שמוצג באיור 2. ראשית, מתווספת יחידת זיכרון נוספת המבוססת על ConvLSTM[5]; יחידה זו משמשת לאחסון מצבים מרחביים, מה שמאפשר ליחידה ללמוד ייצוגים מרחבי-זמניים נוספים. מנגנון המעבר החדש מתוכנן על ידי השלכת מבני שערים מיותרים, כגון שערי קלט. המבנה הלא ליניארי השונה יאבד את הייצוגים הפנימיים החזקים בחיזוי ברמת הפיקסלים. מצד שני, פעולות ההבדל של הייצוגים יושמו ביעילות כדי ללכוד את הייצוגים של עצמים נעים. לכן, ניתן להשתמש בהבדל למשימות חיזוי כדי להשלים את פרטי הייצוג של אובייקטים נעים. ביחידת DMLSTM, פעולת ההבדל פותחה כדי לקבל ייצוגים של תנועה על ידי הבדל בין מצבים נסתרים סמוכים או תמונות גולמיות, מה שהופך את היחידה לבעלת יכולת דוגמנות חזקה יותר עבור דינמיקה מרחבית-זמנית.

3.2. מנגנון קשב כפול

חיזוי מרחבי-זמני יכול לחזות מסגרות עתידיות על-ידי התבוננות בייצוגים קודמים. עם זאת, מודל החיזוי צריך להתמקד יותר בייצוגים היסטוריים הקשורים לתוכן החזוי. מנגנון קשב [27] יכול לתפוס תלות ארוכת טווח בין ייצוגים מקומיים וגלובליים בכמה משימות מעשיות [32,33]. יתרה מכך, חיזוי מרחבי-זמני מאתגר בשל הדינמיקה המורכבת ושינויי המראה, הדורשים תלות בתחומים זמניים ומרחביים כאחד. מוצעת גרסה חדשה של מנגנון הקשב בשם מנגנון הקשב הכפול. ארכיטקטורה זו לוכדת אינטראקציה מרחבית-זמנית ארוכת טווח מממדים זמניים ומרחביים, בהתאמה, ואז הייצוגים המתקבלים מצטברים לצורך חיזוי עתידי.

cistanche למכירהלזכר

מודול הקשב הכפול מוצג באיור 3 כולל המצבים המוסתרים של חותמת הזמן הנוכחית Ht ∈ RH × W × C ואלה היסטוריים {H1 . . . Ht−1} ∈ Rn × H × W × C, כאשר H ו-W הם גדלים מרחביים, C הוא מספר הערוצים, ו-n מציין את מספר הייצוגים הנסתרים המשורשרים לאורך הממד הזמני, בהתאמה

4. מסקנות

DMANet הוצע לחיזוי מרחבי-זמני במאמר זה. יחידת DML-STM משמשת לחילוץ יעיל של הייצוגים על ידי מינוף פעולות הבדל בין התמונות הרצופות ואימוץ מנגנון מעבר זיכרון כפול. מנגנון קשב כפול נועד ללכוד תלות מרחבית-זמנית ארוכת טווח על-ידי חישוב המתאמים בין הייצוגים הנסתרים כיום לבין הייצוגים הנסתרים ההיסטוריים מממדים זמניים ומרחביים, בהתאמה. ה-DMANet משלב את שני היתרונות ותכנון ארכיטקטוני כזה מאפשר למודל כוח מידול גדול יותר עבור דינמיקה קצרת טווח וייצוגים הקשריים ארוכי טווח. תוצאות הניסוי מוכיחות שלשיטה שלנו יש ביצועים מצוינים בחיזוי מרחב-טמפורלי.

איפה לקנות cistanche בזיכרון

חיזוי מרחבי-זמני הוא דרך מבטיחה ללמידה בפיקוח עצמי של מתאמים מרחבי-זמניים עשירים. לעבודה עתידית, נחקור כיצד להפריד את העצמים הנעים מהרקע ולשים תשומת לב רבה יותר על עצמים נעים., ננסה גם לבנות מערכת התנגדות לכאורה להטלת התנגדות להגנה על מערות סיניות מפני מים.

הפניות

1. יאו, י.; אטקינס, E.; ג'ונסון-רוברסון, מ.; Vasudevan, R.; Du, X. Bitrap: חיזוי מסלול דו-כיווני של הולכי רגל עם אומדן יעד רב-מודאלי. רובוט IEEE. אוטומטי. Lett. 2021, 2, 1463–1470. [CrossRef]

2. שיר, ז; סוי, ח.; Li, H. שיטת זיהוי אובייקטים היררכית בחישה מרחוק אופטית בצילומי לוויין באמצעות זיהוי בולטות ו-CNN. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]

3. לי, י.; קאי, י.; לי, ג'; לאנג, ש; Zhang, X. רשת אחדות מרחבית-זמנית לזיהוי אנומליות בווידאו. IEEE Access 2019, 1, 172425–172432. [CrossRef]

4. Yurtsever, E.; למברט, ג'; Carballo, A.; Takeda, K. סקר של נהיגה אוטונומית: שיטות נפוצות וטכנולוגיות מתפתחות. IEEE Access 2020, 8, 58443–58469. [CrossRef]

5. שי, X.; חן, ז; וואנג, ה.; Yeung, DY רשת LSTM Convolutional: גישת למידת מכונה להעברת משקעים. בהליכי הכנס ה-29 על מערכות עיבוד מידע עצבי, מונטריאול, QC, קנדה, 7-12 ביוני 2015; עמ' 802–810.

6. וואנג, י.; לי, מ.; וואנג, ג'; גאו, ז.; Yu, P. PredRNN: רשתות עצביות חוזרות ללמידה חזויה באמצעות LSTMs spatiotemporal. בהליכי הכנס ה-31 על מערכות עיבוד מידע עצבי, לונג ביץ', BC, קנדה, 4-9 בדצמבר 2017; עמ' 879–888.

7. וואנג, י.; גאו, ז.; לונג, מ.; וואנג, ג'; Yu, P. PredRNN פלוס פלוס: לקראת פתרון של הדילמה העמוק בזמן בלמידה חזויה מרחבית-זמנית. בהליכי הכנס הבינלאומי ה-35 ללמידת מכונה, שטוקהולם, שוודיה, 10-15 באפריל 2019; עמ' 5123–5132.

8. Goodfellow, IJ; Pouget-Abadie, J.; מירזה, מ.; שו, ב.; Warde-Farley, D. Generative רשתות יריבות. בהליכי הכנס ה-28 על מערכות עיבוד מידע עצבי, מונטריאול, QC, קנדה, 8-13 בדצמבר 2014; עמ' 2672–2680.

9. איבנוביץ', ב'; קארן, ל.; אדוארד, ש.; Pavone, M. Multimodal Deep Generative Models לחיזוי מסלול: גישת אוטו-מקודד משתנה מותנית. רובוט IEEE. אוטומטי. Lett. 2021, 2, 295–302. [CrossRef]

10. רומלהארט, ד.; הינטון, ג'; Williams, R. לימוד ייצוגים על ידי שגיאות הפצת חזרה. טבע 1986, 1, 533–536. [CrossRef]

11. חוכריטר, ש.; Schmidhuber, J. זיכרון ארוך לטווח קצר. מחשוב עצבי. 1997, 8, 1735–1780. [CrossRef]

12. Sutskever, I.; Vinyals, O.; Le, Q. רצף למידת רצף עם רשתות עצביות. ב-Proceedings of the Advances in Neural Information Processing Systems, מונטריאול, QC, קנדה, 8-13 בדצמבר 2014; עמ' 3104–3112.

13. דאס, מ.; Ghosh, S. אנסמבל חיזוי מבוסס למידה עמוקה לניבוי נתונים חסרים לניתוח חישה מרחוק. IEEE J. Sel. חלק עליון. יישום תצפית כדור הארץ. חיישנים מרחוק 2017, 12, 5228–5236. [CrossRef]

14. אוליו, מ.; סלבה, ג'; Escalera, S. קיפל רשתות עצביות חוזרות לחיזוי וידאו עתידי. בהליכי הכנס האירופאי ה-15 לראייה ממוחשבת, מינכן, גרמניה, 8–14 בדצמבר 2018; עמ' 716–731.

15. סנג, ד.; ג'אנג, ש; ג'אנג, X.; חן, ג.; Chen, X. חיזוי מרחבי-זמני של איכות האוויר המבוססת על רשת עצבית LSTM. אלכס. Eng. J. 2021, 60, 2021–2032. [CrossRef]

16. עבד, א.; ראמין, ש; Abed, A. החיזוי האוטומטי של התלקחויות שמש מתמונות SDO תוך שימוש בלמידה עמוקה. עו"ד Space Res. 2021, 67, 2544–2557. [CrossRef]

17. לי, ש.; פאנג, ג'; שו, ה.; Xue, J. חיזוי מסגרת וידאו על ידי רשת מסיכות רב-ענפים עמוקה. IEEE טרנס. Circuits Syst. וידאו טכנול. 2020, 4, 1–12. [CrossRef]

18. וואנג, י.; ג'אנג, ג'; ז'ו, ח.; לונג, מ.; וואנג, ג'; Yu, P. זיכרון בזיכרון: רשת עצבית מנבאת ללימוד אי-נייחות מסדר גבוה מדינמיקה מרחבית-זמנית. בהליכי כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, לונג ביץ', BC, קנדה, 16-20 ביוני 2020; עמ' 9146–9154.

19. חן, X.; שו, ג; יאנג, X.; יאנג, X.; Tao, D. חיזוי וידאו לטווח ארוך באמצעות ביקורת ורטרוספקטיבה. IEEE טרנס. תהליך תמונה. 2020, 29, 7090–7103. [CrossRef]

20. נדה, ע.; Reza, F. AptaNet כגישת למידה עמוקה לחיזוי אינטראקציות aptamer-protein. Sci. מִחָדָשׁ. 2021, 11, 6074–6093.

21. שן, ב.; Ge, Z. מערכת דינמית לא ליניארית משוקללת לחילוץ עמוק של משתנים סמויים דינמיים לא ליניאריים ויישום תעשייתי. IEEE טרנס. אינד. מודיע. 2021, 5, 3090–3098. [CrossRef]

22. ג'ואו, ג'; דאי, ח; וואנג, ה.; Wang, T. מודל רחב תשומת לב ומורכב עמוק לחיזוי זרימת תנועה במערכות סייבר-פיזיות של תחבורה. IEEE טרנס. אינד. מודיע. 2021, 17, 3431–3440. [CrossRef]

23. פטיל, ק.; Deo, M. חיזוי בקנה מידה אגן של טמפרטורת פני הים עם רשתות עצביות מלאכותיות. ג'יי אטמוס. אוקיינוס. טכנול. 2018, 7, 1441–1455. [CrossRef]

24. אמאטו, פ.; Guinard, F.; רוברט, ש.; Kanevski, M. מסגרת חדשנית לחיזוי מרחב-זמני של נתונים סביבתיים באמצעות למידה עמוקה. Sci. נציג 2020, 10, 22243–22254. [CrossRef]

25. יאן, ג'; צ'ין, ג'; ז'או, ר.; ליאנג, י.; Xu, Q. Mixpred: חיזוי וידאו מעבר לזרימה אופטית. IEEE Access 2019, 1, 185654–185665. [CrossRef]

26. וואנג, י.; ג'יאנג, ל.; יאנג, מ.; לי, ל.; לונג, מ.; Li, F. Eidetic 3D LSTM: מודל לחיזוי וידאו ומעבר לכך. בהליכי הכנס הבינלאומי על ייצוגי למידה, ניו אורלינס, לוס אנג'לס, ארה"ב, 6-9 במאי 2019; עמ' 1–14.

27. ואסואני, א.; שזייר, נ.; פארמר, נ.; אוסקורייט, י.; ג'ונס, ל. תשומת לב היא כל מה שאתה צריך. בהליכי הכנס ה-31 על מערכות עיבוד מידע עצבי, לונג ביץ', BC, קנדה, 4-9 בדצמבר 2017; עמ' 5998–6008.

28. חן, י. קלנטידיס, י.; לי, ג'; Feng, J. A2 רשתות: רשתות קשב כפולות. בהליכי הכנס ה-32 על מערכות עיבוד מידע עצבי, מונטריאול, QC, קנדה, 2-8 בדצמבר 2018; עמ' 352–361.

29. הואנג, ז.; וואנג, X.; ווי, י.; הואנג, ל.; Shi, H. Ccnet: תשומת לב צולבת לפילוח סמנטי. IEEE טרנס. דפוס אנאלי. מאך. אינטל. 2020, 1, 1–11. [CrossRef]

30. פו, ג'; ליו, ג'. טיאן, ה.; Li, Y. רשת קשב כפולה לפילוח סצינות. בהליכי כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, לונג ביץ', BC, קנדה, 16-20 ביוני 2019; עמ' 3146–3154.

31. וואנג, ז.; בוביק, א.; שייח, ח. הערכת איכות תמונה: מנראות שגיאה לדמיון מבני. IEEE טרנס. תהליך תמונה. 2004, 4, 600–612. [CrossRef]

32. ליו, ש.; לו, ש; Lan, L. Yolov3 גלאי פנים קשב עם דיוק ויעילות גבוהים. Comp. סיסט. Sci. Eng. 2021, 37, 283–295.

33. לי, X.; שו, פ.; Xin, L. רשתות פילוח סמנטי של מיזוג עמוק עם תשומת לב כפולה של תמונות חישה מרחוק של לוויינים בקנה מידה גדול. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]

34. Srivastava, N.; מנסימוב, ע.; Salakhutdinov, R. למידה ללא פיקוח של ייצוגי וידאו באמצעות LSTMs. בהליכי הכנס הבינלאומי ה-32 בנושא למידת מכונה, ליל, צרפת, 6-11 ביוני 2015; עמ' 843–852.

35. גייגר, א.; לנץ, פ.; סטילר, סי; Urtasun, R. Vision פוגש רובוטיקה: מערך הנתונים של KITTI. Int. ג'יי רובוט. מילון 2013, 32, 1231–1237. [CrossRef]

36. דולר, פ.; Wojek, C.; שילה, ב.; Perona, P. זיהוי הולכי רגל: אמת מידה. ב-Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, מיאמי, פלורידה, ארה"ב, 20-25 ביוני 2009; עמ' 304–311.

37. ליו, ג'יי; ג'ין, ב.; יאנג, ג'; Xu, L. חיזוי טמפרטורת פני הים באמצעות אינטרפולציה מעוקבת של B-spline ומנגנון קשב מרחבי-זמני. חיישנים מרחוק Lett. 2021, 12, 12478–12487. [CrossRef]