سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

اجرای LLMهای محلی روی GTX 1080؛ کارت گرافیک ۱۰ ساله هنوز هم می‌تواند

اجرای LLMهای محلی روی GTX 1080؛ کارت گرافیک ۱۰ ساله هنوز هم می‌تواند

با افزایش روزافزون قیمت سخت‌افزار، بسیاری از کاربران به استفاده دوباره از قطعات قدیمی روی آورده‌اند. بر اساس گزارش XDA Developers، یک کاربر توانسته کارت گرافیک قدیمی GTX 1080 را برای اجرای مدل‌های زبانی بزرگ محلی (Local LLM) به کار بگیرد؛ آن هم در حالی که این کارت حدود ۱۰ سال عمر دارد و تنها ۸ گیگابایت حافظه ویدئویی (VRAM) در اختیار دارد.

چرا GTX 1080 برای LLMهای محلی؟

اجرای مدل‌های هوش مصنوعی به‌صورت محلی معمولاً به حافظه ویدئویی زیاد و معماری جدید پردازنده گرافیکی نیاز دارد. اما مدل‌های مبتنی بر معماری ترکیب خبرگان (Mixture-of-Experts یا MoE) امکان استفاده هم‌زمان از حافظه رم (RAM) و VRAM را فراهم می‌کنند. در این معماری، هر توکن تنها از زیرمجموعه کوچکی از شبکه‌های خبره عبور می‌کند؛ بنابراین لازم نیست همه وزن‌های مدل روی GPU بارگذاری شوند.

نویسنده مقاله توانسته لایه‌های توجه، لایه‌های خبره فعال و تعبیه‌ها (Embeddings) را روی GTX 1080 نگه دارد و بخشی از وزن‌های خبره را با پرچم n-cpu-moe-- به پردازنده و حافظه سیستم منتقل کند. همین موضوع باعث شده کارت گرافیک قدیمی همچنان برای وظایف بهره‌وری و کدنویسی قابل استفاده باشد.

درایورهای Nvidia و پاس‌تروی LXC در Proxmox

نخستین چالش، سازگار کردن کارت گرافیک با سیستم‌عامل بود. کاربر از Proxmox به‌عنوان بستر اصلی و یک کانتینر LXC مبتنی بر Debian برای موتور استنتاج (Inference Engine) استفاده کرده است. به گفته او، نسخه‌های اخیر درایور GTX 1080 با Proxmox و هسته pve-kernel 7.x مشکل داشتند، اما درایور نسخه 580.119.02 انویدیا برای رفع این ناسازگاری منتشر شده است. در ادامه، نصب درایور 580.173.02 انجام شده و با اجرای nvidia-smi مشخص شده که GPU به‌درستی شناسایی می‌شود.

  • نصب بسته‌های لازم با apt install و دریافت هدرهای pve-kernel
  • دانلود و اجرای فایل نصب درایور Nvidia
  • استفاده از اسکریپت‌های انجمن PVE برای راه‌اندازی LXC و پاس‌تروی GPU
  • انتقال فایل درایور به LXC با دستور pct push و نصب آن با پرچم no-kernel-modules--

llama.cpp با بک‌اند Vulkan

برای اجرای مدل‌ها، llama.cpp به‌عنوان موتور استنتاج انتخاب شده است. به گفته کاربر، این ابزار نسبت به گزینه‌هایی مانند Ollama سبک‌تر است و امکان سفارشی‌سازی بیشتری در اختیار می‌گذارد. او بک‌اند Vulkan را برای GTX 1080 مناسب‌تر از CUDA دانسته، زیرا در کارت‌های نسل Pascal سازگاری پایدارتری ارائه می‌دهد.

پس از نصب بسته‌های Vulkan و ساخت فایل nvidia_icd.json برای شناسایی GPU توسط API، پروژه llama.cpp با تنظیم GGML_VULKAN=ON کامپایل شده است. این مرحله زمینه اجرای مدل‌های محلی را روی کارت گرافیک فراهم می‌کند.

نتایج اجرای مدل‌های MoE

کاربر مدل حجیم Qwen3.6-35B-A3B را با تنظیمات مناسب و انتقال بخشی از وزن‌ها به CPU اجرا کرده است. سرعت پیش‌پردازش (Prefill) در این مدل بین ۵۰ تا ۷۰ توکن بر ثانیه و سرعت پردازش واقعی حدود ۱۵.۲ توکن بر ثانیه گزارش شده است. این نتیجه با توجه به اندازه زمینه (Context Size) برابر با ۱۰۰۰۰۰ توکن و عمر ۱۰ ساله کارت گرافیک قابل توجه است.

مدل Gemma-4-26B-A4B نیز در مرحله پیش‌پردازش نتایج مشابهی داشته، هرچند سرعت پردازش آن کمی کمتر و حدود ۱۴.۶ توکن بر ثانیه بوده است. برای وظایفی که به سرعت بسیار بالا نیاز دارند، مدل سبک‌تر Gemma 4 E4B روی همین کارت با سرعت ۲۳۸ توکن بر ثانیه در پردازش پرامپت و حدود ۴۸ توکن بر ثانیه در تولید پاسخ اجرا می‌شود.

نتیجه‌گیری

این آزمایش نشان می‌دهد کارت‌های گرافیک قدیمی و متوقف‌شده نیز می‌توانند با انتخاب درست نرم‌افزار، درایور و معماری مدل، برای اجرای LLMهای محلی مفید باشند. کاربر قصد دارد GTX 1080 را به‌عنوان ایستگاه اختصاصی میزبانی مدل‌های زبانی برای Home Assistant، Vane و ابزارهای بهره‌وری و کدنویسی نگه دارد.

نظرتان را ثبت کنید کد خبر: 57213 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/09/01 تعداد مشاهده: 23
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Artemis Modal Pro v8.0.0.3 (x64)

Artemis Modal Pro v8.0.0.3 (x64)

آنالیز مودال

اهمیت تفکر عقلانی

اهمیت تفکر عقلانی

ماهنامه فرهنگی و الکتورنیکی عقلانیت و جوان

Velocity Stream

Velocity Stream

جریان شتاب

King Of Dirt

King Of Dirt

پادشاه دوچرخه سواری

Broadcom Bluetooth Software 12.0.0.9850

Broadcom Bluetooth Software 12.0.0.9850

نرم افزار بروز رسانی درایور بلوتوث

QuickTime Pro 7.7.9

QuickTime Pro 7.7.9

نرم افزار شرکت Apple برای پخش فایلهای ویدیویی MOV در ویندوز و صفحات وب

سخنرانی حجت الاسلام شهاب مرادی با موضوع مقام امام علی(ع)

سخنرانی حجت الاسلام شهاب مرادی با موضوع مقام امام علی(ع)

سخنرانی حجت الاسلام شهاب مرادی با موضوع ماه رجب

Chicken Invaders All Release for Android +2.3

Chicken Invaders All Release for Android +2.3

مجموعه بازی های مرغان مهاجم

مداحی حاج سید مجید بنی فاطمه سال 97 در ماه صفر

مداحی حاج سید مجید بنی فاطمه سال 97 در ماه صفر

مداحی بنی فاطمه سال 97 صفر

Diffchecker 6.7.3

Diffchecker 6.7.3

مقایسه فایل

سخنرانی حجت الاسلام عزیزالله رزاقی با موضوع اهمیت دحو الارض

سخنرانی حجت الاسلام عزیزالله رزاقی با موضوع اهمیت دحو الارض

سخنرانی اهمیت دحو الارض با رزاقی

Marvel's Spider-Man 2

Marvel's Spider-Man 2

مارول اسپایدرمن 2

Poppy Playtime – Chapter 1 to 5 (All 5 Chapters)

Poppy Playtime – Chapter 1 to 5 (All 5 Chapters)

پاپی پلی تایم

DJ Studio 5 v5.2.3 for Android +2.3

DJ Studio 5 v5.2.3 for Android +2.3

با DJStudio موزیک در زیر دستان شما است

برنامه نویسی به زبان اسمبلی برای کامپیوترهای شخصی

برنامه نویسی به زبان اسمبلی برای کامپیوترهای شخصی

برنامه نویسی اسمبلی

دارالشفاء نسخه 2.1 برای اندروید

دارالشفاء نسخه 2.1 برای اندروید

دارالشفاء

They Need To Be Fed 2.0.4 for Android

They Need To Be Fed 2.0.4 for Android

آدمک آهنربایی

آشنایی با صحیفه سجادیه اثر استاد مطهری

آشنایی با صحیفه سجادیه اثر استاد مطهری

معرفی صحیفه سجادیه

سخنرانی حجت الاسلام انصاریان با موضوع اهلبیت (ع) و خصوصیات مومنان و شیعیان واقعی - 2 جلسه

سخنرانی حجت الاسلام انصاریان با موضوع اهلبیت (ع) و خصوصیات مومنان و شیعیان واقعی - 2 جلسه

حاج آقا انصاریان با موضوع اهلبیت (ع) و خصوصیات مومنان و شیعیان واقعی

فیلم مستند ترخیص نسخه کامل

فیلم مستند ترخیص نسخه کامل

ترخیص

WinMount 3.5.1018

WinMount 3.5.1018

نرم افزار مدیریت انواع فایل های فشرده

Yomawari Midnight Shadows

Yomawari Midnight Shadows

اکشن فکری

IBM SPSS Statistics 27.0.1 IF026 / 26.0 IF009 / 25.0 HF001

IBM SPSS Statistics 27.0.1 IF026 / 26.0 IF009 / 25.0 HF001

نسخه جدید نرم افزار تحلیل آماری SPSS

EaseUS RecExperts Pro 4.0.4

EaseUS RecExperts Pro 4.0.4

فیلمبرداری از دسکتاپ

آموزش نرم افزار Word 2007

آموزش نرم افزار Word 2007

آموزش ورد 2007

مجله تخصصی پلی استیشن سونی

مجله تخصصی پلی استیشن سونی

مجله تخصصی آخرین اخبار بازی ها و نقد و بررسی های بازی

سخنرانی حجت الاسلام مقری با موضوع عالم محضر خداست

سخنرانی حجت الاسلام مقری با موضوع عالم محضر خداست

حاج آقا مقری با موضوععالم محضر خداست

مولودی خوانی حاج محمود کریمی میلاد امام حسین امام سجاد حضرت اباالفضل علیهم السلام

مولودی خوانی حاج محمود کریمی میلاد امام حسین امام سجاد حضرت اباالفضل علیهم السلام

مداحی کریمی میلاد امام حسین امام سجاد حضرت اباالفضل

Drawdle 1.66 for Android +2.1

Drawdle 1.66 for Android +2.1

بازی رنگ آمیزی

City Life 2008 Edition

City Life 2008 Edition

زندگی شهری نسخه 2008

سخنرانی حجت الاسلام رفیعی درباره ویژگی های ماه رمضان

سخنرانی حجت الاسلام رفیعی درباره ویژگی های ماه رمضان

ویژگی ماه رمضان از زبان حجت الاسلام رفیعی

بیوگرافی جهانگردانی

بیوگرافی جهانگردانی

جهانگردان اروپایی در ایران

DAZ Studio Professional 4.22.0.15

DAZ Studio Professional 4.22.0.15

ساخت انیمیشن 3 بعدی

Hekasoft Backup & Restore 1.2.0

Hekasoft Backup & Restore 1.2.0

تهیه بک آپ و ریکاوری اطلاعات مرورگرها

آموزش ویندوز 8

آموزش ویندوز 8

آموزش Windows 8

Scooter Beyond Compare 5.2.8.33052

Scooter Beyond Compare 5.2.8.33052

مقایسه سریع و دقیق فایل ها و فولدرها

Pluralsight - What's New in Java 8

Pluralsight - What's New in Java 8

فیلم آموزش‌ آشنایی با ویژگی‌های جدید جاوا 8

MacOS Catalina 10.15.7 (119H2) for VMware

MacOS Catalina 10.15.7 (119H2) for VMware

مک او اس وی ام ویر

تلاوت مجلسی استاد شحات محمد انور سوره ضحی و شرح و تین و علق

تلاوت مجلسی استاد شحات محمد انور سوره ضحی و شرح و تین و علق

تلاوت شحات محمد انور سوره شرح

The Planet Crafter - Planet Humble + Update v1.405

The Planet Crafter - Planet Humble + Update v1.405

سازنده سیاره

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!