המקור הרשמי דיווח על עדכון: b10751: cuda: איחוד הפחתת מומחים ממוזנים של MoE. cuda: איחוד הפחתת מומחים ממוזנים של MoE (#25952). cuda: איחוד הפחתת ממוזנת (mul + view + add). כיום, איחוד הזנב של MoE כותב את הפלטים של המומחים הממוזנים לזיכרון גלובלי לפני הפחתתם. תנועת הזיכרון הגלובלי הזו היא העלות העיקרית. קו הבסיס של הייצור פועל בדרך כלל שני גרעינים פיזיים מאוחדים; הנתיב הזה פועל אחד. השינוי זה תואם את תת-הגרף של משקל מומחים מלא וצירוף מסודר ומחליף אותו בגרעין אחד של הפחתת ממוזנת.
אירוע בינה קנוני
CUDA קיצרה את הפחתת המומחים במשקל MoE לגרעין אחד.
עדכון CUDA מקטין את תנועת הזיכרון הגלובלית בהפחתת מומחים במשקל MoE על ידי איחוד שני גרעינים לאחד.
2 בספט׳ 20261 טענות מאומתות1 מקורות2 תצפיות
העדכון הרשמי מדווח על התפתחות בנוגע ל-b10751: cuda: מיזוג הפחתת מומחים ממוזנים של MoE. חשיבותו מעשית תלויה בטווח והראיות שצוינו על ידי המקור.
קראו את עדכון המקור הרשמי ווידאו את היקפו, הראיות והזמן לפני שתפעלו על פי זה.
ידע מקושר
ישויות שמושפעות מהאירוע
שרשרת ראיות
המקורות שמאחורי האירוע
הצגה מערכתית
פתיחת הכתבה