מחשבים ניידים שמריצים סוכני בינה מלאכותית על החומרה עצמה הגיעו היום לשוק. NVIDIA השיקה את קו RTX Spark, ובמרכזו מודל חדש בשם Nemotron 3.5 Bolt 74B-A9B שנועד להפעיל סוכנים מקומית: מערכות שמבצעות משימות עבור המשתמש, ולא רק עונות על שאלות.
מה זה Bolt 74B
לפי NVIDIA, Bolt הוא מודל מסוג מיקס של מומחים (MoE): כ-74 מיליארד פרמטרים בסך הכול, מתוכם כ-9 מיליארד פעילים בכל רגע. בדחיסה של 2 ביט המודל תופס כ-24 גיגה-בייט, וזה הגודל שמאפשר, לדבריה, הרצה על מחשב נייד. המודל שוחרר ב-15 באוקטובר, והמחשבים נכנסו למכירה ביום שישי, 16 באוקטובר. מדובר בשני אירועים נפרדים.
לפי החברה, המודל זמין להרצה דרך llama.cpp, vLLM, Ollama, Unsloth ו-LM Studio, וגם דרך סוכנים כמו Hermes ו-OpenClaw. NVIDIA מוסיפה שהמודל פתוח לגמרי, כולל נתוני האימון, המשקולות והמתכונים, כך שמפתחים יכולים לכוונן אותו לסוכנים משלהם.
הסוכן רץ על המחשב
הרכיב החדש בהשקה הוא לא רק המודל, אלא המקום שבו הוא רץ. NVIDIA מציגה את ההרצה המקומית כתנאי לסוכן שפועל על הקבצים, היישומים וההרשאות של המשתמש עצמו. לא פורסמו נתוני זמני תגובה או השוואה מול מודלי ענן, ולכן השאלה אם הגישה הזו מהירה יותר בפועל נשארת פתוחה.
ההשקה אינה מנותקת מהענן לגמרי. הכלי הפתוח NVIDIA Switchyard מאפשר לסוכן לנתב שאילתות בין מודל מקומי למודל ענן, ו-Hermes מתכננת לשלב אותו בחודש הקרוב. לפי NVIDIA, מטרת הניתוב היא לצמצם שימוש בענן, אך עדיין להגיע לתוצאות קרובות למה שמודל ענן נותן.
מה עוד נכנס להשקה
לפי NVIDIA, המחשבים מציעים עד 128 ג'יגה-בייט של זיכרון מאוחד ועד פטה-פלופ אחד של ביצועי AI בפורמט FP4. מעבר למודל, החברה מציגה עדכונים ליישומי יצירה: Adobe מבטיחה האצה של עד פי 2 בחלק מהפעולות ב-Photoshop וב-Premiere, בשלבים ובגרסאות בטא.
המודל המשני, Nemotron 3.5 Bolt E4B בגודל 4 גיגה-בייט, מיועד לדמויות במשחקים דרך NVIDIA ACE. לפי החברה, הוא יעמוד לרשות המשתמשים ב-23 באוקטובר, והוא ייבדק בתוך SkyrimNET, פלטפורמת מודים שמוסיפה דמויות בינה מלאכותית למשחק Skyrim.
מחיר וזמינות
המחשבים זמינים החל מיום שישי, 16 באוקטובר, מ-ASUS, Dell, HP, Lenovo, Microsoft ו-MSI, לפי הודעת NVIDIA. מחיר הדגמים נקבע על ידי כל יצרן בנפרד, ולכן אין כאן מחיר אחיד. לגבי ישראל לא פורסם מידע על תמחור או זמינות.
מה לעקוב אחריו
השבועות הקרובים יראו אם סוכנים מקומיים יכולים לעבוד על מחשב נייד באופן שמרגיש טבעי לעומת כלי ענן. עד אז, ההשקה מזיזה את השאלה: לא רק איזה מודל חזק יותר, אלא איפה הסוכן רץ ועל אילו נתונים הוא נשען.
מקורות:
NVIDIA Blog, הכרזת האקוסיסטם ומודל Bolt 74B: https://blogs.nvidia.com/blog/local-ai-rtx-spark-laptops-software-updates/
NVIDIA, דף המוצר RTX Spark: https://www.nvidia.com/en-us/products/rtx-spark/
NVIDIA, הודעת הזמינות של RTX Spark (דרך Yahoo Finance): https://finance.yahoo.com/technology/ai/articles/nvidia-rtx-spark-pcs-available-120000506.html
ציוץ רשמי של NVIDIA: https://x.com/nvidia/status/2110804342487810232