משפחת Decision 3.0 היא קבוצה של מודלי החלטה פתוחים, בגדלים שבין 0.6 מיליארד ל-27 מיליארד פרמטרים, שפותחה בשיתוף vLLM Semantic Router, Red Hat ו-KR Labs. המודלים מופצים ברישיון Apache-2.0.
הדיון בקהילת LocalLLaMA ב-Reddit עוסק בהכרזה על הגרסה החדשה, וכותרתו מציינת את שם המשפחה ואת הרעיון שמאחוריה: מודלים פתוחים שמקבלים החלטות.
מודל החלטה הוא השכבה שמחליטה, בתוך מערכת סוכנים, לאיזה מודל או כלי להעביר כל בקשה. בלי שכבה כזו, סוכן מפעיל את אותו מודל כבד על כל משימה, גם על משימות פשוטות, וזה יקר ואיטי. ניתוב טוב הוא לכן חלק מרכזי מהתשתית שמאחורי סוכני AI, גם אם המשתמש הקצה לא רואה אותו.
לפי התיעוד של הפרויקט, Decision 3.0 מכסה לא רק טקסט אלא גם תמונה ווידאו, והמודלים מחליטים על בסיס קלט רב-מודאלי. הגרסה הגדולה, בגודל 27 מיליארד פרמטרים, מופיעה בתיעוד עם ציון של 66.26 בטקסט ו-71.26 בתמונה בלוח Jev Decision Index 0.3.2, בנתונים שנכללו בתיעוד נכון ל-12 באוקטובר.
המפרסמים טוענים שהמודלים מדורגים במקום הראשון בשני לוחות Jev Decision Index. ההשוואה הרלוונטית לכל צוות היא על המשימות שלו עצמו: הנתב הנכון הוא זה שמפחית עלות ושומר על איכות.
למפתחים בישראל שבונים סוכנים, המשמעות המעשית היא אפשרות לנתב בתוך תשתית פתוחה ולא להיות תלויים במודל יחיד של ספק חיצוני. זו שכבה שקטה, אבל כזו שקובעת הרבה מהעלות והביצועים של המערכת כולה.
מקורות:
תיעוד Decision: https://decision.vllm-sr.ai/docs
הדרכה רשמית: https://vllm-sr.ai/docs/tutorials/decision/overview
Reddit, r/LocalLLaMA: https://reddit.com/r/LocalLLaMA/comments/1x3th4p/decision_30_open_multimodal_decision_models_from