سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

انویدیا به‌تازگی مدل Nemotron 3.5 Bolt را معرفی کرده است؛ مدلی ۷۴ میلیارد پارامتری (74B) با ۹ میلیارد پارامتر فعال (9B Active) که برای اجرا در حافظه ۲۴ گیگابایتی با وزن‌های ۲ بیتی بومی (Native 2-bit Weights) طراحی شده است. با این حال، کارت مدل (Model Card) آن پیکربندی‌های سخت‌افزاری را دست‌کم ۳۲ گیگابایت حافظه هدف گرفته بود و به نظر می‌رسید اجرای آن روی یک کارت ۱۶ گیگابایتی چندان منطقی نیست.

یک آزمایش عملی نشان داد که با تنظیمات درست llama.cpp می‌توان این مدل را روی GPU ۱۶ گیگابایتی و ۳۲ گیگابایت رم اجرا کرد و حتی آن را به یک عامل (Agent) محلی برای انجام وظایف چندمرحله‌ای تبدیل کرد.

از دانلود تا بارگذاری؛ چالش‌های اجرای مدل ۷۴ میلیاردی

فایل رسمی GGUF با نام Nemotron-3.5-Bolt-74B-A9B هر «خبره» (Expert) را در قالب IQ2_XXS ذخیره می‌کند؛ لایه‌های Mamba در NVFP4 و لایه‌های توجه (Attention) در Q8_0 قرار دارند. حجم دانلود همراه با پروجکتور بینایی (Vision Projector) کمی کمتر از ۲۴ گیگابایت بود؛ یعنی ۸ گیگابایت بیشتر از حافظه اختصاصی کارت RTX 4070 Ti Super.

نسخه قدیمی llama.cpp از بارگذاری این فایل خودداری کرد. علت این بود که خبره‌های Bolt در هر لایه به شکلی متفاوت هرس (Prune) شده‌اند و نسخه‌های قدیمی‌تر با خطای شکل تنسور (Tensor Shape Error) آن را رد می‌کنند. بنابراین نیاز به ساخت (Build) b11927 بود؛ نسخه‌ای که پشتیبانی از Bolt در روز معرفی مدل به llama.cpp اضافه شد.

به‌جای آزمون‌وخطا با گزینه --n-cpu-moe برای تعیین تعداد لایه‌های خبره قابل نگهداری در کارت، از گزینه --fit استفاده شد. llama.cpp حافظه GPU را تا ۱۵.۷ گیگابایت پر کرد و باقی را در حافظه سیستم قرار داد. در حالتی که همه لایه‌های خبره روی CPU بودند، سرعت ۱۹ توکن بر ثانیه (Token/s) ثبت شد؛ اما با تنظیم خودکار، سرعت به ۲۲ تا ۳۲ توکن بر ثانیه و پردازش پرامپت (Prompt Processing) به ۱۱۰ توکن بر ثانیه رسید.

Bolt یک مدل همراه به نام LiLiCorr نیز دارد که برای پیش‌بینی چند کلمه جلوتر و بررسی یک‌جای آن‌ها آموزش دیده است. با این حال، در این آزمایش LiLiCorr به‌جای افزایش سرعت، آن را کاهش داد؛ زیرا حافظه GPU را از لایه‌های خبره می‌گرفت. در نتیجه رمزگشایی گمانه‌زنانه (Speculative Decoding) کنار گذاشته شد. آزمایش با زمینه (Context) ۶۴ هزار توکن و تنظیمات پیشنهادی انویدیا انجام شد: دمای ۱.۰، top_p برابر ۰.۹۵ و مقادیر پیش‌فرض llama.cpp شامل top_k برابر ۴۰ و min_p برابر ۰.۰۵.

تبدیل مدل به عامل؛ Hermes Agent چه امکاناتی داد؟

پس از اجرای مدل از طریق llama.cpp، نوبت به سنجش توان عامل‌محور (Agentic) آن رسید. کارت مدل Bolt ردهای استدلال Hermes Agent را در داده‌های پس‌آموزش (Post-training) خود فهرست می‌کند؛ بنابراین Hermes Agent انتخاب طبیعی بود. این ابزار به سرور llama.cpp به‌عنوان یک نقطه پایانی سفارشی (Custom Endpoint) متصل شد و قابلیت‌هایی مانند ترمینال، دسترسی به فایل، بینایی، مرورگر محلی Chromium، حافظه، مهارت‌ها و اجرای کد فعال شدند. کلید API ابری خالی ماند، چون در این آزمایش ضرورتی نداشت.

۵۸ مهارت همراه Hermes حذف شدند؛ زیرا دو مورد از آن‌ها وظایف را به Claude Code و Codex می‌سپردند و می‌توانستند بی‌صدا کار را به فضای ابری بفرستند. این موضوع برای یک آزمایش محلی مشکل‌ساز بود.

نخستین آزمون، خواندن یک تصویر از مانیتور سخت‌افزار با ۴۸ خوانش در بخش‌های CPU، GPU و حافظه بود. تلاش اول کمی از مسیر خارج شد؛ Bolt به فهرست پوشه‌ای که چند دقیقه قبل دیده بود اعتماد کرد، وجود فایل را رد کرد و دو دقیقه محتوای فایل‌های پوشه کاربر را برای یافتن نام فایل جست‌وجو کرد. با این حال، مقادیر ساختگی تولید نکرد. در نشست تازه و با دادن مسیر کامل، هر ۴۸ مقدار به‌درستی خوانده شد؛ از جمله جداکننده‌های هزارگان، حداقل صفر دور در دقیقه برای فن و نام فایل گزارش در پانوشت. فراخوانی بینایی حدود ۷۳ ثانیه و کل اجرا ۱ دقیقه و ۴۲ ثانیه طول کشید.

آزمون پنج‌مرحله‌ای؛ کارهایی که Bolt انجام داد

در آزمون نهایی، یک وظیفه پنج‌مرحله‌ای بدون هیچ دخالتی به Bolt سپرده شد: یافتن نسخه‌های نصب‌شده llama.cpp و Hermes روی رایانه، بررسی آخرین انتشارهای آن‌ها در GitHub، یافتن پول‌ریکوئست (Pull Request) که پشتیبانی Bolt را به llama.cpp افزوده بود، نوشتن گزارشی همراه با منابع و ذخیره روش کار به‌عنوان یک مهارت برای دفعه بعد. این وظیفه در ۱۱ دقیقه و ۴۴ ثانیه به پایان رسید.

Bolt ابتدا با اجرای llama-cli شماره ساخت را خواند و نسخه Hermes را از فایل‌های نصب‌شده استخراج کرد. مرورگر کمی زمان گرفت و Bolt حدود هشت فراخوانی ابزار صرف فهمیدن نحوه خواندن یک صفحه کرد. سپس لینک‌های درست را از نتایج جست‌وجوی GitHub بیرون کشید و پول‌ریکوئست شماره ۳۰۵۲۰ با تاریخ ادغام ۱۵ اکتبر را شناسایی کرد.

تلاش اول برای ذخیره مهارت شکست خورد؛ Bolt یک مهارت موجود را باز کرد، قالب آن را کپی کرد و خطا را خودش اصلاح کرد. به‌طور عجیب، هنگام جست‌وجوی شماره نسخه تلاش کرد فایل کلیدهای Hermes را باز کند که خوشبختانه Hermes آن را مسدود کرد. گزارش نهایی نیز بی‌نقص نبود: پول‌ریکوئست را به افزودن معماری‌ای نسبت داد که llama.cpp از قبل پشتیبانی می‌کرد، اما نتیجه‌گیری درباره وضعیت llama.cpp درست بود. Bolt همچنین بیش از یک دقیقه کاراکترها را دستی شمرد تا محدودیت تعداد کاراکتر را رعایت کند.

  • یافتن نسخه‌های نصب‌شده: درست برای llama.cpp و Hermes
  • بررسی آخرین انتشارها: درست برای هر دو
  • یافتن پول‌ریکوئست پشتیبانی Bolt: درست
  • نوشتن گزارش منبع‌دار: عمدتاً درست، با یک جزئیات نادرست
  • ذخیره روش به‌عنوان مهارت: درست، با اصلاح خطاهای قالب‌بندی
  • رعایت محدودیت‌ها: چیزی نصب نکرد و از فایل کلیدها مسدود شد
  • زمان صرف‌شده: ۱۱ دقیقه و ۴۴ ثانیه
  • زمینه مصرف‌شده: حدود ۴۵ هزار از ۶۴ هزار توکن، شامل آزمون بینایی

نتیجه؛ ۱۶ گیگابایت حافظه کافی بود

Nemotron 3.5 Bolt 74B-A9B با وجود چند نقص، نشان داد که یک GPU ۱۶ گیگابایتی می‌تواند مدل ۷۴ میلیاردی را اجرا کند و رایانه‌ای که برای بازی ساخته شده بود، به یک عامل محلی برای وظایف پیچیده و چندمرحله‌ای تبدیل شود. این تجربه هنوز کاملاً بدون نظارت نیست، اما هر وظیفه‌ای که انجام می‌دهد، باری از روی میز کاربر برمی‌دارد.

نظرتان را ثبت کنید کد خبر: 56294 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/07 تعداد مشاهده: 36
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
EasyUEFI Enterprise 6.0.1 + WinPE

EasyUEFI Enterprise 6.0.1 + WinPE

مدیریت تنظیمات بوت

اربعین هنگامه احیای امر امام حسین (ع) از حجت الاسلام والمسلمین علی نظری منفرد

اربعین هنگامه احیای امر امام حسین (ع) از حجت الاسلام والمسلمین علی نظری منفرد

حاج آقا علی نظری منفرد با موضوع اربعین هنگامه احیای امر امام حسین (ع)

سخنرانی حجت الاسلام محمدمهدی ماندگاری با موضوع تعظیم و تخریب شعائر اسلامی

سخنرانی حجت الاسلام محمدمهدی ماندگاری با موضوع تعظیم و تخریب شعائر اسلامی

سخنرانی تخریب شعائر اسلامی با ماندگاری

Call Recorder – Cube ACR 2.3.219 Mod for Android +4.0

Call Recorder – Cube ACR 2.3.219 Mod for Android +4.0

کیوب رکوردر

Car Detailing Simulator

Car Detailing Simulator

شبیه ساز تعمیر خودرو

رژیم های دروغی

رژیم های دروغی

باورهای نادرست درمورد رژیم غذایی

Anno 2070 + All Updates + Deep Ocean Version

Anno 2070 + All Updates + Deep Ocean Version

انو 2070

Reg Organizer 9.96 Final

Reg Organizer 9.96 Final

پاک‌سازی و تعمیر رجیستری

آموزش نرم افزار Ulead Video Studio

آموزش نرم افزار Ulead Video Studio

آموزش یولید ویدیو استادیو

تهدیدات شبکه‌های اجتماعی

تهدیدات شبکه‌های اجتماعی

کارکرد سیاسی شبکه های اجتماعی مجازی

نکته های طلایی Outlook 2010

نکته های طلایی Outlook 2010

آموزش outlook

تلاوت مجلسی استاد سید محمد نقشبندی سوره مبارکه آل عمران

تلاوت مجلسی استاد سید محمد نقشبندی سوره مبارکه آل عمران

تلاوت سید محمد نقشبندی سوره آل عمران

Focus Camera 1.2 for Android

Focus Camera 1.2 for Android

فوکوس بر روی تصاویر

Checky 1.0 for Android +4.0.3

Checky 1.0 for Android +4.0.3

تست اعتیاد به موبایل!!

Amazing Earth

Amazing Earth

فیلم مستند زمین

اسرار غدیر تألیف محمد باقر انصاری

اسرار غدیر تألیف محمد باقر انصاری

واقعه غدیر خم

Ashampoo UnInstaller 27.0.1

Ashampoo UnInstaller 27.0.1

حذف برنامه های غیرضروری

همراه بانک تجارت 5.0.17.0 برای اندروید

همراه بانک تجارت 5.0.17.0 برای اندروید

همراه بانک تجارت

Google Keep 5.26.431.02.90 For Android +5.0

Google Keep 5.26.431.02.90 For Android +5.0

یادداشت برداری گوگل

قرآن بیان 2.2.7

قرآن بیان 2.2.7

قرآن به همراه صوت، ترجمه، تفسیر

GstarCAD 2026.1 Professional

GstarCAD 2026.1 Professional

طراحی صنعتی

آشنایی با سیستم عامل مکینتاش

آشنایی با سیستم عامل مکینتاش

آشنایی با مباحث مربوط به سیستم عامل مکینتاش

اندیشه سیاسى شیعه

اندیشه سیاسى شیعه

مفهوم مشارکت سیــاســى

Icecream Ebook Reader Pro 6.53 + Portable

Icecream Ebook Reader Pro 6.53 + Portable

مدیریت و مطالعه کتاب های الکترونیکی

Screenpresso Pro 2.1.39

Screenpresso Pro 2.1.39

ضبط صفحه نمایش

Calibre 9.18.0 Win/Mac/Linux + Portable

Calibre 9.18.0 Win/Mac/Linux + Portable

مدیریت کتاب های دیجیتالی کالیبر

Unruly Heroes + Updates

Unruly Heroes + Updates

اکشن برای کامپیوتر

Data Monitor Premium 1.13.1377 for Android +4.1

Data Monitor Premium 1.13.1377 for Android +4.1

نمایش سرعت و مانیتور دیتای شبکه

ماساژ درمانی

ماساژ درمانی

روانشناسی و ماساژ

Lynda - InDesign: Advanced Styles

Lynda - InDesign: Advanced Styles

آموزش ایندیزاین

Children of Men

Children of Men

فرزندان بشر

SwishMax & ActionScript2

SwishMax & ActionScript2

آموزش swish

RemoteSMS Pro 6.9.9.2 for Android

RemoteSMS Pro 6.9.9.2 for Android

ارسال SMS با کامپیوتر

PhotoFiltre Studio X 11.7 + Portable / 10.14.2

PhotoFiltre Studio X 11.7 + Portable / 10.14.2

فتو فیلتر استودیو افکت‌گذاری روی تصاویر

Asura

Asura

اکشن نقش آفرینی

In The Shadows

In The Shadows

اکشن معمایی

مستند چرا تایتانیک غرق شد؟

مستند چرا تایتانیک غرق شد؟

مستند تایتانیک

تلاوت مجلسی استاد کریم منصوری سوره مبارکه آل عمران

تلاوت مجلسی استاد کریم منصوری سوره مبارکه آل عمران

تلاوت کریم منصوری سوره آل عمران

Quran 1.0 Java Mobile

Quran 1.0 Java Mobile

متن کامل قرآن برای موبایل با فرمت جاوا

Sound & Voice Recorder - ASR Premium 87 for Android +2.3

Sound & Voice Recorder - ASR Premium 87 for Android +2.3

ضبط صدا

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!