תגית: מודלי שפה

מאמר חדש של Goodfire, חברה שעוסקת באינטרפרטביליות (הבנה של מה שקורה בתוך מודלים), טוען שאחת ההנחות המרכזיות בתחום צריכה להיבחן מחדש. לפי המאמר, שכותרתו המקורית היא "Neural Networks Are Already Clean", הנוירונים במודלים מוקדמים לא היו "מלוכלכים" בגלל טבע הרשתות עצמן, אלא בגלל סיבות שגרתיות שאפשר לתקן.

הקריאה הרווחת בספרות היא שנוירון רב-משמעי, כזה שמגיב למספר מושגים לא קשורים, מוסבר בעיקר בסופרפוזיציה (superposition): המודל דוחס ייצוגים של יותר מושגים ממספר הנוירונים שיש לו. ההנחה הזאת הפכה לאחד הרעיונות המשפיעים ביותר בתחום.

המאמר של Goodfire מציע קריאה אחרת. לטענתו, הפוליסמנטיות בדגמים המוקדמים נבעה בעיקר מסיבות שגרתיות שניתנות לתיקון, ולא מסופרפוזיציה. לפי הכותב, ההבדל חשוב: אם הבעיה הנדסית ולא מבנית, הסיכוי להבין את הרשת נראה טוב יותר.

הטענה השנייה רחבה יותר: לטענת המאמר, ניתן כיום להבין את רוב הנוירונים במודלים עד טריליון פרמטרים. זו טענה של הכותב על היתכנות, ולא תוצאה שנמדדה מחדש בכתבה הזאת.

חשוב להבהיר את מעמד הטקסט. מדובר בטיעון מחקרי ובעמדה של הכותב, לא בתוצאות ניסוי חדשות שפורסמו כאן. הכתבה הזאת לא בדקה את הניסויים שהמאמר מסתמך עליהם, ולכן הטענות מוצגות כטענות של המאמר. בהגשה ל-Hacker News היו בזמן הבדיקה 96 נקודות ו-25 תגובות. זה מעיד על עניין בקהילה, אבל לא על אימות של הטענות.

למי שמתעניין במחקר AI, הטיעון ראוי לתשומת לב כי הוא מציב שאלה פשוטה: אם רוב הרעש בנוירונים נובע מבעיות שאפשר לתקן, אולי התמונה של "רשת אטומה" צריכה להתעדכן. לקריאה על מחקר AI אחר של Google, שמוצג באתר בזווית שונה: כתבה קודמת על מחקר AI של Google.

מקורות:

המאמר המקורי: https://already-clean.goodfire.com/

הגשה ל-Hacker News: https://news.ycombinator.com/item?id=50105647

תקציר משני (לא אומת לגבי הכותב): https://gokawiil.com/article/355847

המעבדה הגדולה לפיזיקה של חלקיקים בעולם ו-Mistral AI, אחת מחברות מודלי השפה המובילות באירופה, רוצות לבנות יחד מודל בינה מלאכותית שיהפוך לבסיס לחקר פיזיקת החלקיקים. לפי ההודעה הרשמית של CERN מיום חמישי, 15 באוקטובר 2026, שני הארגונים חתמו על מכתב כוונות לפיתוח מה שהם מכנים "מודל פיזיקה גדול" (Large Physics Model). לפי ההודעה, מדובר במודל היסוד הראשון שנבנה במיוחד לפיזיקה של מתקני התנגשות.

הצהרת כוונות בלי לוח זמנים

חשוב להבין מה נאמר ומה לא. מכתב הכוונות מתאר כיוון, לא מוצר. בהודעה לא צוין לוח זמנים לפיתוח, לא נמסר תקציב, ולא נקבעו שלבים או תאריכי יעד. כל מה שנכתב על היכולות העתידיות של המודל הוא תיאור של מה שהשותפים מתכוונים לבנות, לא תוצאה שנמדדה.

מה המודל אמור לעשות

לפי התיאור ב-CERN, המודל יאומן על מיליארדי התנגשויות פרוטון-פרוטון מסומלצות במאיץ ההדרנים הגדול (LHC), המאיץ הגדול והחזק בעולם של המעבדה. היעד הוא מודל אחד שיתמוך במשימות רבות: שחזור התנגשויות, זיהוי חלקיקים, איתור אותות לא צפויים והערכת תכנוני גלאים עתידיים.

היום, שחזור האירועים מסתמך על שרשרת של אלגוריתמים מתמחים, שכל אחד מהם הופך אותות מהגלאים לחלקיקים ולעצמים שמשתמשים בהם לניתוח פיזיקלי. למידת מכונה כבר משחקת בתהליך הזה תפקיד חשוב, אבל כל שלב נבנה בנפרד. מודל יסוד מיועד ללמוד על כל השרשרת יחד, ולתמוך במספר משימות במודל אחד.

למה זה חשוב גם מחוץ לפיזיקה

רוב הדיון הציבורי על בינה מלאכותית נסוב על צ'אטבוטים ועוזרים דיגיטליים. הפרויקט הזה מזיז את הדיון לכיוון אחר: מודלי יסוד ככלי מחקר בסיסי, שמיועד לעבוד על נתונים מדעיים ענקיים. ל-CERN יש כ-אקסבייט (exabyte) אחד של נתונים ניסיוניים מה-LHC עד היום, ומספר ההתנגשויות צפוי לגדול פי עשרה עם שדרוג ה-HL-LHC, שאמור להתחיל לפעול בסביבות 2030. אם הגישה תצליח, הטכנולוגיה שפותחה למודלי שפה עשויה לשמש גם מדענים בתחומים אחרים, אבל כרגע זו עדיין כוונה ולא הוכחה.

אנריקה פורקארי, מנהלת מערכות המידע הראשית של CERN, אמרה שפיזיקת החלקיקים מספקת סביבה ייחודית לפיתוח ולבחינה של בינה מלאכותית ברמת קפדנות גבוהה, ושהשותפות נועדה לקדם יכולות שיוכלו לשרת את קהילת הפיזיקה כולה ולהיות משותפות. יוהאנס ברנדשטטר, סגן נשיא AI להנדסה ב-Mistral, אמר שהשותפים רוצים לפתח יכולות שעשויות להוביל לגילויים מדעיים חדשים.

מה עדיין לא ידוע

ההודעה לא מסבירה איך המודל ייבנה מבחינה טכנית, מי ישא בעלות, מתי תהיה גרסה ראשונה לשימוש, ואם התוצאות יוכחו מול השיטות הקיימות. אלה שאלות שיכולות להיענות רק בהודעות עתידיות או במחקרים שיפורסמו בהמשך. עד אז, הפרויקט הוא מכתב כוונות בין מעבדה לחברה, לא תוכנית עבודה.

מקורות:
CERN, הודעה רשמית: https://home.cern/cern-and-mistral-join-forces-to-accelerate-ai-for-science

עדכון 15.10.2026, 21:05 (שעון ישראל)

עדכון: מה Apple מוסיפה לסיפור

Apple פרסמה נתוני הרצה של Muse Spark Open על חומרה שלה. הפרסום הרשמי הוא מחקר על הפצת ההסקה על פני כמה מחשבים בספריית MLX של Apple. לפי הפוסט, על אשכול של ארבעה Mac Studio עם שבבי M5 Ultra המודל מייצר יותר מ-36 טוקנים בשנייה בשלב יצירת הטוקנים, בהקשר של 8,192 טוקנים.

הציוץ המוטמע למטה הוא של מארק צוקרברג, מנכ"ל Meta. הוא כתב שמשקלי המודל משתחררים היום, ושהמודל "רץ טוב" על Mac Studio חדשים, בזכות עבודה משותפת עם Apple. זו טענה של Meta על השחרור. הנתונים הטכניים נמצאים בפוסט של Apple.

מה שהפוסט של Apple מאשר: הרצה של המודל על Mac Studio עם שבבי M5 Ultra, בתצורת אשכול של ארבעה מחשבים, והזכרה של פורמט הכיווץ NVFP4. על מחשב בודד עם 512GB זיכרון המודל אינו נכנס, ולכן נדרש חיבור בין כמה מחשבים. מה שלא נכלל בפוסט הרשמי ולכן לא נכתב כאן: פרטי חומרה ורישיון שפורסמו בדיווחים משניים. אלה יתווספו רק אחרי שייבדקו במקור.

המשמעות לקורא: עד עכשיו הרצה של מודל בגודל כזה דרשה בדרך כלל תשתית ענן. נתוני Apple מראים שהרצה מקומית על חומרה צרכנית-מתקדמת אפשרית, אם כי באשכול של כמה מחשבים ולא במכשיר בודד. הנתונים הם של Apple עצמה, ולא של צד בלתי תלוי, ולכן כדאי לקרוא אותם כטענה של החברה עד שייבדקו בנפרד.

מקורות: הפוסט הרשמי של Apple על הפצת הסקה ב-MLX (https://machinelearning.apple.com/research/mlx-distributed-inference); הציוץ המוטמע ב-X (https://x.com/finkd/status/2110778025629347999).

מטא הודיעה על שחרור משקולות פתוחים של Muse Spark Open, מודל שפה בגודל 816 מיליארד פרמטרים, מתוכם כ-42 מיליארד פעילים בכל שלב עיבוד, עם הקשר של מיליון טוקנים. לפי מטא, המודל מיועד בעיקר להרצה מקומית על מחשב Mac Studio עם שבב M5 Ultra ובעזרת מסגרת העבודה MLX של Apple.

הפוסט של מארק צוקרברג ב-X הוא המקור המרכזי לשחרור. בפוסט עצמו נכתב שהמשקולות משתחררות היום, וששיתוף הפעולה עם ג'ון טרנוס ו-Apple מאפשר להריץ את המודל היטב על Mac Studio חדשים. הפרטים הטכניים שלהלן, כמו גודל המודל, מספר הפרמטרים הפעילים, אורך ההקשר ותמיכת החומרה, מיוחסים למטא ולא נבדקו באופן עצמאי.

פתוח לא אומר הכי חזק

ההבחנה החשובה בהכרזה היא בין שני מודלים. Muse Spark Open הוא המודל שמטא משחררת לציבור כמשקולות פתוחים, וכך כל מי שיש לו חומרה מתאימה יכול להריץ אותו אצלו. Muse Wonder, לפי מטא, הוא המודל החזק יותר של החברה, והוא נשאר סגור ולא משתחרר.

השוואות הביצועים בין המודלים, ובינם לבין מודלים אחרים, הן של מטא עצמה ולא של גורם עצמאי. לכן כדאי לקרוא אותן כטענות של החברה, לא כמדידה מאומתת.

למה זה מעניין את הקורא

שחרור של מודל כה גדול להרצה על חומרה שמשתמש פרטי או ארגון קטן יכולים להרשות לעצמם הוא צעד שונה ממודלים שרצים רק בענן. מטא ממקדת את ההכרזה בהרצה מקומית, ובכך מציעה חלופה לשימוש דרך שירותי ענן.

מה שעדיין לא ברור מהחומר שנבדק הוא אילו רישיונות חלים על השימוש המסחרי במשקולות, ומה הביצועים בפועל על חומרה של Mac Studio. אלה שאלות לבדיקה בשלב הבא.

מקורות:

• הפוסט הרשמי של מארק צוקרברג ב-X: https://x.com/finkd/status/2110778025629347999

חברת Ant Group, דרך זרוע המחקר והקוד הפתוח inclusionAI, פרסמה את משקולות המודל Ling-3.1-flash ברישיון MIT. הפוסט הרשמי של @AntLingAGI ב-X פורסם ב-14 באוקטובר 2026 בשעה 15:19 UTC, ודף המודל ב-Hugging Face מציין את אותו רישיון.

לפי דף המודל, מדובר במודל מיקס מומחים עם 560 מיליארד פרמטרים בסך הכול, מתוכם כ-25 מיליארד פעילים לכל טוקן, וחלון הקשר מוצהר של עד מיליון טוקנים. הדף מתעד הרצה עם SGLang ו-vLLM, כלומר מדובר במודל שאפשר להוריד ולהפעיל בתשתית עצמית. זו הפעם הראשונה שהמודל הזה נגיש לכל מי שרוצה לבדוק אותו בעצמו.

מה נבדק כאן: הרישיון, גודל המודל, חלון ההקשר המוצהר ואופן ההרצה מופיעים בדף ה-Hugging Face עצמו. מה לא נבדק: ביצועים עצמאיים. דף המודל מפרט מבחנים כמו SWE-bench Pro ו-Terminal-Bench 4.0, אך אלה הערכות של החברה עצמה, ולא מצאנו אימות מול גורם בלתי תלוי. חלון ההקשר של מיליון טוקנים הוא הצהרה של המודל, והתנהגותו בהרצה עצמאית לא נבדקה.

המשמעות: פתיחת מודל בגודל כזה היא צעד משמעותי לקהילה. אבל מספרי האיכות בכתבה הם של החברה, ומי שרוצה לבדוק את הטענות צריך לעבור לדף המודל, לבדוק את הרישיון ואת המשקולות בעצמו.

מקורות:

הפוסט הרשמי של @AntLingAGI ב-X

דף המודל ב-Hugging Face: inclusionAI/Ling-3.1-flash (רישיון MIT)

ביום שני, 12 באוקטובר, הציגה Meta שני מודלים חדשים: Muse Wonder ו-Muse Wonder Full. לפי ההודעה הרשמית, מדובר במודלים החזקים ביותר שלה עד כה למשימות אג'נטיות אישיות ומקצועיות, מחוץ לבדיקות עצמאיות. ההודעה מדגישה עבודה עם תחומים כמו משפט, כספים ובריאות, וכתיבת קוד. ההודעה הרשמית של Meta.

מה זמין היום, ומה לא

לפי ההודעה הרשמית, Muse Wonder זמין כבר היום למפתחים ולבונים דרך Meta Model API ודרך Muse Code. Muse Wonder Full זמין כרגע למנויי Muse Code. לגבי אפליקציית Muse, החברה כותבת שהמודל יופעל בה בקרוב ויגיע קודם למנויים. לא נמסר מועד למשתמשים חינמיים.

למי שבונה מוצר בישראל, ההבחנה הזו חשובה. לפי מה שפורסם, הגישה הציבורית דרך API היא Muse Wonder, ולא Full. לא מצאנו בהודעה תנאי שמאפשרים שילוב Full במוצר של צד שלישי, ולכן כדאי לבדוק את תנאי הגישה הרשמיים לפני תכנון ארכיטקטורה.

תמחור: מה דווח, ומה לא אומת

דיווח של Yahoo Tech מציין מחיר של 4 דולרים למיליון טוקנים של קלט ו-20 דולרים למיליון טוקנים של פלט, וכי המחיר זהה למחיר של Claude Opus 5.5 ונמוך ממחצית המחיר של GPT-6 Astra (10 ו-50 דולרים). המספרים מופיעים בדיווח משני בלבד. לא אימתנו אותם מול דף התמחור הרשמי של Meta, ולכן כדאי לקרוא אותם כמידע מדווח ולא כנתון מאומת.

מה Meta טוענת על הביצועים

Meta מציינת שהמודלים מציגים ביצועי מתקדמים במשימות אג'נטיות, וכרטיס המודל שלה כולל השוואות מול מודלים מתחרים. עם זאת, כרטיס המודל מציין שההרצות מול מתחרים בוצעו בגישת "best-effort": ההנחיות, הכלים וסביבת ההרצה לא בהכרח מכוונים לאופטימום עבור מודלים קנייניים. אלה השוואות שהחברה ביצעה בעצמה, בלי אימות עצמאי. מספרי ההשוואה שמופיעים בדיווחים משניים לא נבדקו בתיק הזה, ולכן לא חזרנו עליהם כעובדה.

מה חדש ברמת היכולות

לפי ההודעה הרשמית, לשני המודלים שתי יכולות מרכזיות. Active Memory שומר על מה שחשוב למשתמש בין שיחות, ומחזיר פרטים רלוונטיים למשימה. Active Focus מאפשר למודל להמשיך לעבוד על מטרה כשמשימה נעשית קשה, לנסות גישות אחרות, להתאושש משגיאות, ולבקש הבהרה או לאשר לפני פעולה חשובה. כרטיס המודל מציין שהפלט הוא טקסט בלבד, והקלט יכול לכלול טקסט, תמונה, וידאו ואודיו.

זיכרון והתמדה בין שיחות הם בדיוק מה שמפתחים מבקשים מסוכנים. אבל בלי בדיקה עצמאית, קשה לדעת כמה הן עובדות בתהליכים אמיתיים.

מה עדיין חסר

ההודעה הרשמית מציינת שדוח בטיחות מלא עם הערכות נוספות "יהיה זמין בקרוב". בזמן כתיבת הכתבה הוא לא נמצא בתיק, ולכן אין הערכה עצמאית של סיכוני המודלים. מי שמתכנן להטמיע את המודלים במוצר רגיש, כמו משפט, כספים או בריאות, כדאי שיחכה לדוח הזה לפני החלטה.

מה זה אומר למפתחים

Muse Wonder נגיש היום דרך API. התמחור שדווח נמוך ממחיר GPT-6 Astra, אבל טרם אומת מול Meta. הביצועים שמפורסמים הם השוואות שביצעה Meta עצמה. לפני החלפת מודל, כדאי לבדוק את המודל על המשימות שלכם. מי שמחכה ל-Full צריך לקחת בחשבון שהגישה אליו כרגע דרך מנוי Muse Code, ואין מועד למשתמשים חינמיים.

מקור הכתבה: ההודעה הרשמית של Meta וכרטיס המודל שלה. כל מה שמיוחס ל-Yahoo Tech או ל-SiliconANGLE הוא דיווח משני שלא אומת בנפרד.

Mistral Large 4, שכינויו “le Chonk”, כבר זמין בתצוגה מקדימה דרך ה-API של החברה. משקלי המודל, שיאפשרו להוריד ולהריץ אותו בעצמאות רבה יותר, עדיין לא שוחררו: Mistral אומרת שתפרסם אותם לקראת סוף אוקטובר. הפער בין גישה למודל דרך שירות החברה לבין גישה למשקלים הוא ההבדל המעשי המרכזי בשלב ההשקה.

לפי ההודעה הרשמית של Mistral, מדובר במודל מולטימודלי עם טריליון פרמטרים בסך הכול ו־49 מיליארד פרמטרים פעילים. החברה מתארת אותו כמודל הגדול והמתקדם ביותר שלה עד כה, ומציינת שהוא עדיין משתפר. אלה פרטים שמסרה Mistral; הם אינם כשלעצמם תוצאות של הערכה עצמאית.

מה Mistral טוענת — ומה עוד צריך לבדוק

Mistral טוענת שהמודל מציג ביצועים תחרותיים בתחומי קוד, עבודה עם סוכנים והבנה מולטימודלית, ושהוא מוביל בין מודלים פתוחים בכמה משימות עסקיות. החברה גם טוענת ליתרון במשימות מסוימות, ובהם הבנת מיקום של עצמים בתמונה, לעומת מודלים סגורים מובילים. ההודעה כוללת שמות של מבחנים ומשימות, אך הטענות האלה נותרות טענות החברה: כדי להעריך את גודל היתרון צריך לבחון את התוצאות, את שיטות המדידה ואת ההשוואה למודלים אחרים.

החברה אומרת שהמודל אומן על 3,800 מעבדי NVIDIA Grace Blackwell במרכזי הנתונים שלה באירופה, ושהתצוגה המקדימה מוגשת מאותה תשתית. היא מתכננת לפרסם יחד עם המשקלים פרטים נוספים על הארכיטקטורה, מבחנים נוספים ושיטת האימון לאחר האימון. עד אז, ההכרזה מספקת מפרט ראשוני וגישה דרך ה-API — אך לא את מלוא החומרים הדרושים כדי לבדוק את טענות הביצועים או להריץ את המשקלים באופן עצמאי.

הנה הפוסט הרשמי של Mistral על ההשקה: