Goodfire: הנוירונים של מודלי AI כבר נקיים יותר ממה שחשבנו
מאמר חדש של Goodfire, חברה שעוסקת באינטרפרטביליות (הבנה של מה שקורה בתוך מודלים), טוען שאחת ההנחות המרכזיות בתחום צריכה להיבחן מחדש. לפי המאמר, שכותרתו המקורית היא "Neural Networks Are Already Clean", הנוירונים במודלים מוקדמים לא היו "מלוכלכים" בגלל טבע הרשתות
מאמר חדש של Goodfire, חברה שעוסקת באינטרפרטביליות (הבנה של מה שקורה בתוך מודלים), טוען שאחת ההנחות המרכזיות בתחום צריכה להיבחן מחדש. לפי המאמר, שכותרתו המקורית היא "Neural Networks Are Already Clean", הנוירונים במודלים מוקדמים לא היו "מלוכלכים" בגלל טבע הרשתות עצמן, אלא בגלל סיבות שגרתיות שאפשר לתקן.
הקריאה הרווחת בספרות היא שנוירון רב-משמעי, כזה שמגיב למספר מושגים לא קשורים, מוסבר בעיקר בסופרפוזיציה (superposition): המודל דוחס ייצוגים של יותר מושגים ממספר הנוירונים שיש לו. ההנחה הזאת הפכה לאחד הרעיונות המשפיעים ביותר בתחום.
המאמר של Goodfire מציע קריאה אחרת. לטענתו, הפוליסמנטיות בדגמים המוקדמים נבעה בעיקר מסיבות שגרתיות שניתנות לתיקון, ולא מסופרפוזיציה. לפי הכותב, ההבדל חשוב: אם הבעיה הנדסית ולא מבנית, הסיכוי להבין את הרשת נראה טוב יותר.
הטענה השנייה רחבה יותר: לטענת המאמר, ניתן כיום להבין את רוב הנוירונים במודלים עד טריליון פרמטרים. זו טענה של הכותב על היתכנות, ולא תוצאה שנמדדה מחדש בכתבה הזאת.
חשוב להבהיר את מעמד הטקסט. מדובר בטיעון מחקרי ובעמדה של הכותב, לא בתוצאות ניסוי חדשות שפורסמו כאן. הכתבה הזאת לא בדקה את הניסויים שהמאמר מסתמך עליהם, ולכן הטענות מוצגות כטענות של המאמר. בהגשה ל-Hacker News היו בזמן הבדיקה 96 נקודות ו-25 תגובות. זה מעיד על עניין בקהילה, אבל לא על אימות של הטענות.
למי שמתעניין במחקר AI, הטיעון ראוי לתשומת לב כי הוא מציב שאלה פשוטה: אם רוב הרעש בנוירונים נובע מבעיות שאפשר לתקן, אולי התמונה של "רשת אטומה" צריכה להתעדכן. לקריאה על מחקר AI אחר של Google, שמוצג באתר בזווית שונה: כתבה קודמת על מחקר AI של Google.
מקורות:
המאמר המקורי: https://already-clean.goodfire.com/
הגשה ל-Hacker News: https://news.ycombinator.com/item?id=50105647
תקציר משני (לא אומת לגבי הכותב): https://gokawiil.com/article/355847