מקור רשמי דיווח על עדכון: b10731: qwen4exp: תמיכה בהחזרת מצב חוזר. qwen4exp: תמיכה בהחזרת מצב חוזר (#28123). דיקוד ספקולטיבי של MTP דורש מהמצב היעד לחזור על פי מספר הטוקנים שדחו. ללא תמיכה בהחזרה, הקשר מסווג כ SEQ_RM_TYPE_FULL והשרת מסריאליז את המצב החוזר כולו לאחסון זיכרון בכל סיבוב, מה שדורש יותר משהכתיבה חוסכת. הקאש החוזר כבר מחזיק n_rs_seq + 1 מצלמות ודלתא נט כותבת את מצב ה-SSM שלה אליהן, אבל build_conv_state_at כתב מצלמה אחת בלבד, כך שהחזרה שיחזרה היסטוריית קונבולוציה שלא נלכדה מעולם.
אירוע בינה קנוני
Qwen4exp הוסיף תיקון מצב חוזר לקידוד מהיר יותר.
התכונה לשחזור מצב חוזר משפרת מהירות פירוש ל-183 טוק/שנייה בקוד ול-144 טוק/שנייה בפרוזה.
2 בספט׳ 20261 טענות מאומתות1 מקורות1 תצפיות
המשמעות המעשית של העדכון בנושא Qwen4exp הוסיף תיקון מצב חוזר לקידוד מהיר יותר תלויה בפרטים ובמגבלות שמוצגים במקור.
קראו את עדכון המקור הרשמי ווידאו את היקפו, הראיות והזמן לפני שתפעילו אותו.
ידע מקושר
ישויות שמושפעות מהאירוע
שרשרת ראיות
המקורות שמאחורי האירוע
הצגה מערכתית
פתיחת הכתבה