המקור הרשמי דיווח על עדכון v1.15.0: שיפור זיכרון הפעלה של FSDP2 ושיפורים ב-dtensor. צוות המשימה עבד על מספר שינויים: שני תיקונים שמגדילים את זיכרון הפעלה באורכי רצף ארוכים, תמיכה בהטמעות קשורות ב-torch גרסה 2.13 ומעלה, ותיקונים בדיקת נקודות ציון ושיפור הסקלה. בדיקת נקודות ציון הייתה מכסה כל אחד מהשכבות התואמות (self_attn, mlp, הנורמליזציות) במקום את השכבה עצמה, כך שכל הפעילות בין השכבות נשמרה לאחור. עכשיו היא מכסה את השכבה כולה.
אירוע בינה קנוני
זיכרון הפעלה של FSDP2 הוקטן עבור רצפים ארוכים בגרסה 1.15.0
בדיקת הפעלת FSDP2 עטפתה את שכבת הטרנספורמר כולה, ומצמצמת את הפעולות שמושמרות.
9 בספט׳ 20261 טענות מאומתות1 מקורות1 תצפיות
העדכון הרשמי מדווח על פיתוחים בגרסה v1.15.0, בהם הפעלת זיכרון FSDP2 ושיפור בינה מלאכותית dtensor. משמעותם המעשית תלויה בטווח והראיות שמציג המקור.
קראו את עדכון המקור הרשמי ולאמת את היקף, הראיות והזמן המפורטים לפני שתפעילו אותו.
ידע מקושר
ישויות שמושפעות מהאירוע
שרשרת ראיות
המקורות שמאחורי האירוע
הצגה מערכתית
פתיחת הכתבה