אירוע בינה קנוני

Hash-cache מאחסן כעת רק משקולות בפרוטוקול RPC.

העדכון מגביל את אחסון ה-hash למטריצות משקלים, ומנע שימוש מיותר בדיסק מפעולות הפעלה.

15 בספט׳ 20261 טענות מאומתות1 מקורות2 תצפיות

מה קרה

מקור רשמי דיווח על עדכון: b10985: rpc: hash-cache רק למשקלים. rpc: hash-cache רק למשקלים (#28789). rpc: hash-cache רק למשקלים. ggml_backend_rpc_buffer_set_tensor ו-ggml_backend_rpc_set_tensor_async השתמשו בהשתנות לכל העברת נתונים מעל HASH_THRESHOLD והפעילו את rpc-server -c לשירות מהמאגר הקבצים שלו. המאגר מיועד למשקלים, אך ההפעלות ש-ggml_backend_sched העביר בין מאחורי הקלעים לקחו את אותו נתיב: עם חלוקה לשני צמתים של Qwen3.8-Flash-Next כל prefill ubatch מעל 10 MB הושתנת, נכתב לתיקיית המאגר של העובד (1.4 TB לאחר יום) ושימש מאוחר יותר משם. השתמשו בנתיב ההשתנות רק לטנסורים בבאפרים מסומנים GGML_BACKEND_BUFFER_USAGE_WEIGHTS.

למה זה חשוב

עדכון רשמי מדווח על התפתחות בנוגע ל-b10985: rpc: hash-cache רק משקלים. משמעות הפיתוח תלויה בטווח והראיות שצוינו על ידי המקור.

מה כדאי לבדוק בהמשך

קראו את עדכון המקור הרשמי ווידאו את היקפו, הראיות והזמן הנקובים לפני שתפעלו על פי זה.

ידע מקושר