החברה Zellige AI הציגה את Tessera-27B-B-CJK, מודל שפה פתוח בגודל 27 מיליארד פרמטרים שמבוסס על Qwen ומופץ ברישיון Apache-2.0. לפי החברה, המודל חושב בשפה מעורבת ומקוצרת, שבה מילים, תווים וסמלים סיניים, יפניים וקוריאניים (CJK) מכווצים את ייצוג החשיבה הפנימי שלו.
הדיון בקהילת LocalLLaMA ב-Reddit הוא המקום שבו הופיעה ההכרזה על המודל, וכותרת הפוסט מציינת את שם הפרויקט ואת הבסיס שממנו נבנה:
הרעיון המרכזי הוא חיסכון בטוקנים. לפי מדידות החברה, המודל משתמש בכ-50 עד 64 אחוז מטוקני החשיבה של המודל הבסיסי בכל תור של סוכן קוד. המדידה נערכה על 44 מצבים מוקפאים מ-11 משימות, שלא שימשו באימון או בבחירת המודל. מדובר במדידה שהחברה ערכה בעצמה, ולכן כדאי לקרוא את המספרים כטענה של המפרסם ולא כבנצ'מרק עצמאי.
למה זה משנה למי שעובד עם סוכנים? מי שמפעיל סוכני קוד על חומרה מקומית משלם בזמן מחשוב ובזיכרון על כל טוקן של חשיבה. מודל שחושב בפחות טוקנים יכול להפחית עלויות ולהאיץ תגובות, בתנאי שהאיכות נשמרת. זו בדיוק הנקודה שהחברה טוענת לגביה.
יש גם מחיר. לפי הנתונים שפרסמה החברה, המודל נחלש לעומת הבסיס במתמטיקה ובקוד תחרותי, ונוטה ללולאות, כלומר לחזור על עצמו במקום להתקדם. בבדיקה במתמטיקה ובקוד תחרותי פתר 87 מתוך 118 פריטים, לעומת 98 של הבסיס. חיסכון בחשיבה עלול לעלות דווקא במשימות שדורשות שרשרת חישובים ארוכה.
המודל זמין להורדה ב-Hugging Face, והחברה מפרסמת את הממצאים שלה בדף המחקר שלה. מי שרוצה לבדוק את הטענה צריך להשוות את המודל למודל הבסיס על המשימות שלו עצמו, ולא להסתפק בטבלאות של המפרסם.
מקורות:
Zellige AI, דף המחקר: https://zellige.ai/research/tessera-27b-b-cjk
Hugging Face: https://huggingface.co/ZelligeAI/Tessera-27B-B-CJK
Reddit, r/LocalLLaMA: https://reddit.com/r/LocalLLaMA/comments/1x5xm28/tessera27bbcjk_zellige_ais_new_finetune_of_qwen