צוות משימה דיווח על עדכון: לילה אחרון ירוק: שמירת העדכון של Muon בגודל מלא תחת אובדן fp16. תחת fp16, פרמטרים של Muon לא מתאימים עם ZeRO-1/2/3 אלא אם האופטימיזטור מופעל. אלגוריתם ניוטון-שולץ מחזיר את אותו העדכון בכל סולם אובדן, אך הצעד מתייחס אליו כגרדיינט ממוקד. פונקציית unscale_and_clip_grads מחלקת אותו על פי סולם האובדן, והנורמה הגלובלית לוקחת אותו כממוקד גם.
אירוע בינה קנוני
גודל העדכונים של Muon לא השתנה עם סקאליינג של אובדן ב- fp16.
עדכוני Muon שומרים על גודל אחיד בכל רמות האובדן עם השינוי.
30 בספט׳ 20261 טענות מאומתות1 מקורות1 תצפיות
עדכון רשמי מדווח על התפתחות בנוגע ל-nightly-last-green: שמירת עדכון Muon בגודלו המלא תחת סקילינג אובדן של fp16 (#8655). חשיבותו מעתיקה על הטווח והראיות המובאות על ידי המקור.
קראו את עדכון המקור הרשמי ווידאו את היקפו, הראיות והזמן שצוינו לפני שתפעילו אותו.
ידע מקושר
ישויות שמושפעות מהאירוע
המשך בנושא
עדכונים מאומתים קשורים
שרשרת ראיות
המקורות שמאחורי האירוע
הצגה מערכתית
פתיחת הכתבה