SYCL תומך כעת ב-TOP_K על GPU עבור k גדול.

המקור הרשמי דיווח על עדכון: b10956: sycl: rfc: שימוש בבחירת רדיקס עבור top_k. sycl: rfc: שימוש בבחירת רדיקס עבור top_k (#28670). sycl: TOP_K מותקן על הגפ"א עבור k גדול, מופעל במקביל על המכשיר. האחורית של sycl סירבה ל-GGML_OP_TOP_K מעל k = 32 והעבירה את הפעולה ל-CPU, סיבוב אחורי לכל קריאה. הגבלה זו לא נבעה משמרנות: גרעיני הסריקה והמיזוג שומרים על (split_block + 1) * k זוגות מועמדים (ערך, אינדקס) ב-SLM, כך שבעבור k = 128 קבוצה עובדת כבר צריכה 132 קילובייט ולא יכולה להתחיל. מדד התשומת לב הדלילה של qwen4exp מבקש k = 2048 בשנים עשר שכבות בכל טוקן, כך שהגבלה זו התרחשה בכל אורך הקונטקסט. נוסף בחירת רדיקס עבור k גדול.