NVIDIA משחררת את Nemotron 3.5 Super VL: מודל סוכנים רב-מודאלי פתוח עם 120 מיליארד פרמטרים
NVIDIA הכריזה על Nemotron 3.5 Super VL, מודל רב-מודאלי פתוח במשקלים גלויים בגודל 120 מיליארד פרמטרים. המודל נועד לסוכני AI שצריכים לנמק על טקסט ותמונה יחד, למשל כשסוכן צריך לקרוא מסמך, לבדוק מקורות ולפעול לפי נוהלי חברה. הבלוג הטכני של
NVIDIA הכריזה על Nemotron 3.5 Super VL, מודל רב-מודאלי פתוח במשקלים גלויים בגודל 120 מיליארד פרמטרים. המודל נועד לסוכני AI שצריכים לנמק על טקסט ותמונה יחד, למשל כשסוכן צריך לקרוא מסמך, לבדוק מקורות ולפעול לפי נוהלי חברה. הבלוג הטכני של החברה מאריך את הרשימה לקידוד, מחקר ברשת, ניתוח מסמכים, אבטחת סייבר וניתוח וידאו.
מה ידוע על המודל
לפי NVIDIA, מדובר בארכיטקטורת מומחים מעורבים (MoE) עם 120 מיליארד פרמטרים בסך הכול, מתוכם כ-12 מיליארד פעילים בכל אסימון. החברה טוענת שכך המודל שומר על קיבולת גבוהה ועל יעילות בהסקה. הבלוג מוסיף שעל GPU יחיד המודל מספק עד פי 5 תפוקה למשימות סוכניות, לעומת מודלים פתוחים אחרים בגודל דומה. זו טענה של היצרנית, ועדיין אין מדידה עצמאית שמאשרת אותה.
בתרשים שמלווה את הבלוג מוצג מעל 600 אסימוני פלט בשנייה במשימות סוכניות של Artificial Analysis, בנקודת קצה של Baseten. גם זה נתון של החברה ולא של גורם בלתי תלוי.
משקלים, כימות ו-LiLiCorr
המשקלים מפורסמים ב-Hugging Face בשתי גרסאות שמופיעות בתיק: NVFP4, גרסה מכומתת שנועדה להפחית את צריכת הזיכרון, ו-NVFP4-LiLiCorr. לפי כרטיס המודל, הגרסה המכומתת עברה זיקוק מודע לכימות מהגרסה BF16.
פוסט הפורום הרשמי של NVIDIA מתאר את LiLiCorr כמודל עזר לפענוח ספקולטיבי (speculative decoding), כלומר מודל קטן שמציע אסימונים מראש כדי להאיץ את היצירה. לפי אותו פוסט, גרסת NVFP4 בגודל כ-75 ג'יגה-בייט נכנסת למחשב DGX Spark יחיד.
הכימות לא בלי מחיר. בכרטיס המודל, הציון של הגרסה המכומתת נמוך מהגרסה המלאה במדדים מסוימים: WebVoyager ירד מ-77.72 ל-66.31, DeepSWE מ-24.65 ל-18.2, ו-MMLU-ProX מ-76.91 ל-73.76. במדדים אחרים ההפרש קטן מאוד, ולעיתים הגרסה המכומתת אף מציגה ציון גבוה מעט יותר.
הרצה על DGX Spark
פוסט הפורום של NVIDIA מציין תצורת vLLM ייעודית ל-DGX Spark, כלומר הגדרה מוכנה להרצת המודל על המחשב הזה, וזה אחד משני נתיבי ההפעלה המרכזיים שהחברה מציגה. כרטיס המודל כולל הוראות הפעלה של vLLM בשרת תואם OpenAI. לא הרצנו את ההגדרה, ולכן מדובר בטענה של החברה.
מה השותפים מדווחים
הבלוג מציין כמה ניסויים של חברות שאימנו את המודל מחדש על הנתונים שלהן. לפי NVIDIA:
Scale AI אימנה את המודל לעיבוד חשבוניות ספקים אוטומטי אצל Skydance, חברת מדיה ובידור, והחברה טוענת לירידה של פי 40 בעלות ההסקה ופי 5 בזמן התגובה.
Ramp, פלטפורמה לניהול פיננסי, משתמשת במודל להמרת תמונות קבלות למבנה נתונים מסודר. החברה מצפה לתפוקה גבוהה עד 50% יותר וזמן תגובה נמוך פי 10.
AI21 ו-Alice אימנו את המודל לניתוח איומי סייבר ופגיעויות, ודיווחו על שיפור של 41% בדיוק.
אלה הערכות של החברות עצמן, לא מדידה עצמאית. הבלוג מציין גם את Perplexity כמי שסיפקה נתונים לשלב האימון הביניים. הרשימה המלאה של השותפים, כולל CrowdStrike ו-Atlassian, מופיעה בדיווחים המשניים בלבד, ולא אומתה בטקסט הבלוג שנבדק.
מודלי הקצה של Bolt
לפי הדיווחים של Investing.com ו-Wccftech, NVIDIA הכריזה גם על שני מודלים קטנים לקצה במשפחת Nemotron 3.5 Bolt: מודל בגודל 24 ג'יגה-בייט בתצורה 74B-A9B שזמין כבר, ומודל E4B בגודל 4 ג'יגה-בייט שצפוי ב-23 באוקטובר. הפרטים האלה לא נמצאו בבלוג או בפוסט הרשמי שנבדקו, ולכן הם מוצגים כטענות שהופיעו בתקשורת המשנית בלבד.
מה עדיין לא נבדק
אין עדיין מדדי ביצועים עצמאיים למודל. כל המספרים בכתבה, כולל אלה מכרטיס המודל, נמסרו על ידי NVIDIA. ההשוואה למודלים אחרים תלויה בבדיקות שטרם פורסמו בצורה עצמאית. גם תצורת ה-DGX Spark וטענות התפוקה עדיין מחכות לבדיקה של מפתחים.
מה לומדים מזה
NVIDIA מציגה מודל פתוח שמיועד לעבודה סוכנית מקצועית ולא לשיחה כללית, ומודדת את ההצלחה בתפוקה, בזמן תגובה ובדיוק במשימות של לקוחות. השאלה שתכריע היא אם הנתונים האלה יחזיקו בבדיקות עצמאיות ובהרצות של מפתחים על חומרה כמו DGX Spark.
מקורות:
פוסט הפורום הרשמי של NVIDIA על השקת המודל
פוסט הפורום של NVIDIA על הבלוג
כרטיס המודל NVFP4 ב-Hugging Face
כרטיס מודל LiLiCorr ב-Hugging Face
דוח טכני של NVIDIA על Nemotron 3.5 Super ו-Lightning