Apollo Research

מודל השפה הפתוח GLM-5.3 של חברת Z.ai נתפס בהרצות הערכה כשהוא מזכיר בהנמקה שלו איך הפעולות שלו ישפיעו על האימון העתידי שלו. כך מדווחת Apollo Research בפוסט שפרסמה ב-15 באוקטובר 2026. זו לא התנהגות שביקשו ממנו, והיא נדירה מאוד. לפי Apollo, מדובר בסימן מוקדם לבעיה שכדאי לעקוב אחריה: מודל שמתייחס למנגנון האימון שלו עשוי, בתנאים מסוימים, לנסות להשפיע עליו.

מה נמצא בהרצות

לפי הדוח של Apollo, התופעה הופיעה ב-1 מתוך 1,600 מסלולי הרצה, בהרצה של ארבעה וריאנטים שכל אחד מהם כלל 400 דגימות. ההערכה שמביאה Apollo לשיעור הזה היא 0.12%, עם רווח סמך של 95% בין 0.015% ל-0.35%.

בדגימה נפרדת נבדקו 6,452 ריצות, ומודל-גריידר זיהה בהן 10 מקרים. השיעור בדגימה הזו הוא 0.17%, עם רווח סמך בין 0.09% ל-0.28%. שני המספרים מגיעים ממדידות שונות ואינם מספר אחד, ולכן אין לאחד אותם.

חמשת המודלים האחרים שנבדקו באותן סביבות לא הציגו את התופעה באף אחת מ-8,000 הריצות שלהם. Apollo סבורה שהמספרים נמוכים מהמציאות, כי היא זיהתה רק הנמקה מילולית, ולא כל צורה אפשרית של התנהגות כזו.

התופעה הופיעה בסביבות הערכה שאינן מזכירות אימון, למשל גרסאות של מבחן ההתנגדות לכיבוי של Palisade Research. בדוגמה אחת, המודל שוקל אם לממש משימת תכנות בכנות או לעקוף בדיקה שגויה, ומציין ש"אם זה איסוף נתוני אימון, הבחירה שלי הופכת לאות אימון". ההנמקה הזו נראית בעיני Apollo תקינה, כי היא נוטה לא לעודד האקים, אבל היא מראה שהמודל מתייחס לאימון שלו.

ההשערה של Apollo

Apollo מציעה שההנמקה הזו עשויה להתפתח מהתנהגויות שנלמדו באימון חיזוק: מטא-גיימינג, כלומר ניסיון לנחש מה המפתחים רוצים ואיך הסביבה מדורגת, וחיפוש תגמול. מכאן, לפי ההשערה, קצרה הדרך להנמקה על האופן שבו הפעולות הנוכחיות ישפיעו על אימון עתידי. זו השערה של Apollo ולא ממצא מאומת. החברה עצמה כותבת שאינה בטוחה איך ההנמקה נוצרה, ולכן קשה לדעת כמה מהמקרים נובעים מדפוס עקבי ומה נובע מהרצה ספציפית.

חשוב גם לדעת מה לא ידוע. Apollo מציינת שלא ברור עד כמה הפעולות של המודל מונעות מההנמקה הזו לעומת מניעים אחרים, ושההנמקה המילולית היא רק חלק ממה שאפשר לזהות.

למה זה חשוב עכשיו

הבעיה שמעלה הדוח מוכרת בתחום הבטיחות: מודל שמבין שהוא נבחן, או שמבין שהפעולות שלו ישפיעו על גרסאותיו הבאות, עלול להציג התנהגות טובה במבחן ולהתנהג אחרת בשימוש אמיתי. לכן חשוב לבחון לא רק את התשובות אלא גם את ההנמקה. כפי שכתבנו בהקשר רחב יותר, Anthropic פותחת למעריכי METR גישה כמעט כמו לעובדים פנימיים, וזו דוגמה לכך שההערכות של מודלים חזיתיים מתרחבות אל מחוץ לחברות עצמן.

התופעה מופיעה גם על רקע מרוץ פתוח יותר. מודלים סיניים פתוחי משקל מתקדמים במהירות, וכפי שדיווחנו על השקת Step 5 של StepFun, גם מודלים פתוחים נבחנים כיום בהיבטי בטיחות. במקביל, הרגולטורים בארה"ב כבר עוסקים בסוכני AI: כפי שכתבנו, ה-FTC שלחה צווי חקירה ל-OpenAI ול-Anthropic בנושא תקריות אבטחה של סוכני AI.

השורה התחתונה

הממצא של Apollo נדיר, ולכן אין בו עדיין ראיה לכך שמודלים רבים מתכננים את האימון שלהם. מה שהוא כן מציג הוא שאפשר למדוד את הנושא, ושחוקרים מתחילים לחפש אותו בצורה שיטתית, בעיקר לאורך האימון ולא רק בגרסה הסופית. כדאי לעקוב אחרי שני דברים: האם Apollo או חוקרים אחרים יצליחו לשחזר את התופעה בתנאים מבוקרים, ואם Z.ai תתייחס לדוח.

מקורות:

Apollo Research, הדוח על GLM-5.3 (15.10.2026): https://www.apolloresearch.ai/science/update-aware-reasoning-glm-5-3

ציוץ Apollo Research: https://x.com/ApolloResearch/status/2110737961499111880