سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

اجرای LLMهای محلی روی GTX 1080؛ کارت گرافیک ۱۰ ساله هنوز هم می‌تواند

اجرای LLMهای محلی روی GTX 1080؛ کارت گرافیک ۱۰ ساله هنوز هم می‌تواند

با افزایش روزافزون قیمت سخت‌افزار، بسیاری از کاربران به استفاده دوباره از قطعات قدیمی روی آورده‌اند. بر اساس گزارش XDA Developers، یک کاربر توانسته کارت گرافیک قدیمی GTX 1080 را برای اجرای مدل‌های زبانی بزرگ محلی (Local LLM) به کار بگیرد؛ آن هم در حالی که این کارت حدود ۱۰ سال عمر دارد و تنها ۸ گیگابایت حافظه ویدئویی (VRAM) در اختیار دارد.

چرا GTX 1080 برای LLMهای محلی؟

اجرای مدل‌های هوش مصنوعی به‌صورت محلی معمولاً به حافظه ویدئویی زیاد و معماری جدید پردازنده گرافیکی نیاز دارد. اما مدل‌های مبتنی بر معماری ترکیب خبرگان (Mixture-of-Experts یا MoE) امکان استفاده هم‌زمان از حافظه رم (RAM) و VRAM را فراهم می‌کنند. در این معماری، هر توکن تنها از زیرمجموعه کوچکی از شبکه‌های خبره عبور می‌کند؛ بنابراین لازم نیست همه وزن‌های مدل روی GPU بارگذاری شوند.

نویسنده مقاله توانسته لایه‌های توجه، لایه‌های خبره فعال و تعبیه‌ها (Embeddings) را روی GTX 1080 نگه دارد و بخشی از وزن‌های خبره را با پرچم n-cpu-moe-- به پردازنده و حافظه سیستم منتقل کند. همین موضوع باعث شده کارت گرافیک قدیمی همچنان برای وظایف بهره‌وری و کدنویسی قابل استفاده باشد.

درایورهای Nvidia و پاس‌تروی LXC در Proxmox

نخستین چالش، سازگار کردن کارت گرافیک با سیستم‌عامل بود. کاربر از Proxmox به‌عنوان بستر اصلی و یک کانتینر LXC مبتنی بر Debian برای موتور استنتاج (Inference Engine) استفاده کرده است. به گفته او، نسخه‌های اخیر درایور GTX 1080 با Proxmox و هسته pve-kernel 7.x مشکل داشتند، اما درایور نسخه 580.119.02 انویدیا برای رفع این ناسازگاری منتشر شده است. در ادامه، نصب درایور 580.173.02 انجام شده و با اجرای nvidia-smi مشخص شده که GPU به‌درستی شناسایی می‌شود.

  • نصب بسته‌های لازم با apt install و دریافت هدرهای pve-kernel
  • دانلود و اجرای فایل نصب درایور Nvidia
  • استفاده از اسکریپت‌های انجمن PVE برای راه‌اندازی LXC و پاس‌تروی GPU
  • انتقال فایل درایور به LXC با دستور pct push و نصب آن با پرچم no-kernel-modules--

llama.cpp با بک‌اند Vulkan

برای اجرای مدل‌ها، llama.cpp به‌عنوان موتور استنتاج انتخاب شده است. به گفته کاربر، این ابزار نسبت به گزینه‌هایی مانند Ollama سبک‌تر است و امکان سفارشی‌سازی بیشتری در اختیار می‌گذارد. او بک‌اند Vulkan را برای GTX 1080 مناسب‌تر از CUDA دانسته، زیرا در کارت‌های نسل Pascal سازگاری پایدارتری ارائه می‌دهد.

پس از نصب بسته‌های Vulkan و ساخت فایل nvidia_icd.json برای شناسایی GPU توسط API، پروژه llama.cpp با تنظیم GGML_VULKAN=ON کامپایل شده است. این مرحله زمینه اجرای مدل‌های محلی را روی کارت گرافیک فراهم می‌کند.

نتایج اجرای مدل‌های MoE

کاربر مدل حجیم Qwen3.6-35B-A3B را با تنظیمات مناسب و انتقال بخشی از وزن‌ها به CPU اجرا کرده است. سرعت پیش‌پردازش (Prefill) در این مدل بین ۵۰ تا ۷۰ توکن بر ثانیه و سرعت پردازش واقعی حدود ۱۵.۲ توکن بر ثانیه گزارش شده است. این نتیجه با توجه به اندازه زمینه (Context Size) برابر با ۱۰۰۰۰۰ توکن و عمر ۱۰ ساله کارت گرافیک قابل توجه است.

مدل Gemma-4-26B-A4B نیز در مرحله پیش‌پردازش نتایج مشابهی داشته، هرچند سرعت پردازش آن کمی کمتر و حدود ۱۴.۶ توکن بر ثانیه بوده است. برای وظایفی که به سرعت بسیار بالا نیاز دارند، مدل سبک‌تر Gemma 4 E4B روی همین کارت با سرعت ۲۳۸ توکن بر ثانیه در پردازش پرامپت و حدود ۴۸ توکن بر ثانیه در تولید پاسخ اجرا می‌شود.

نتیجه‌گیری

این آزمایش نشان می‌دهد کارت‌های گرافیک قدیمی و متوقف‌شده نیز می‌توانند با انتخاب درست نرم‌افزار، درایور و معماری مدل، برای اجرای LLMهای محلی مفید باشند. کاربر قصد دارد GTX 1080 را به‌عنوان ایستگاه اختصاصی میزبانی مدل‌های زبانی برای Home Assistant، Vane و ابزارهای بهره‌وری و کدنویسی نگه دارد.

نظرتان را ثبت کنید کد خبر: 57213 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/09/01 تعداد مشاهده: 14
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Zero Install 2.29.3

Zero Install 2.29.3

اجرای برنامه ها بدون نیاز به نصب

سخنرانی میرزا اسماعیل آقای دولابی بخش اول

سخنرانی میرزا اسماعیل آقای دولابی بخش اول

سخنرانی میرزا اسماعیل آقای دولابی

Catastrophe worse than that of 1914

Catastrophe worse than that of 1914

ستاره ساز

Baldo: The Guardian Owls The Three Fairies

Baldo: The Guardian Owls The Three Fairies

بالدو

9 جلسه نسب مؤمن و عمل به سیره تربیتی اهلبیت(ع) از حجت الاسلام والمسلمین انصاریان

9 جلسه نسب مؤمن و عمل به سیره تربیتی اهلبیت(ع) از حجت الاسلام والمسلمین انصاریان

حاج آقا انصاریان با موضوع نسب مؤمن و عمل به سیره تربیتی اهلبیت(ع)

آشنایی با Java و J2EE

آشنایی با Java و J2EE

آشنایی با برنامه نویسی Java و J2EE

ماهیت شیطان

ماهیت شیطان

Why did God create Satan?

Spider-Man: The Movie

Spider-Man: The Movie

مرد عنکبوتی

AB Download Manager 1.11.4

AB Download Manager 1.11.4

مدیریت دانلود

انسان تنها موجود دارای اختیار و حق انتخاب

انسان تنها موجود دارای اختیار و حق انتخاب

قدرت حق انتخاب را یکبار برای همیشه یاد بگیرید

RiME

RiME

اکشن معمایی

حکایات کوتاه اسلامی

حکایات کوتاه اسلامی

حکایات مردان پرهیزگار

KillApps Pro 1.58.0 For Android +6.0

KillApps Pro 1.58.0 For Android +6.0

بستن برنامه ها

Toy Story 3

Toy Story 3

بازی داستان اسباب بازی 3

نصایح بزرگان درباره حجاب

نصایح بزرگان درباره حجاب

حجاب از دیدگاه بزرگان

کتاب الکترونیکی آشپزی

کتاب الکترونیکی آشپزی

آموزش آشپزی

1001Jigsaw - Earth Chronicles 4

1001Jigsaw - Earth Chronicles 4

هزار و یک پازل - تاریخچه‌ی زمین 4

Cryten 20.9.0 for Android +4.0

Cryten 20.9.0 for Android +4.0

پک آیکون کرایتن

آشنایی با Shortcut های مهم و کاربردی در SQL Server 2012

آشنایی با Shortcut های مهم و کاربردی در SQL Server 2012

آموزش شورت کات در اس کیو ال سرور

اجزای سازنده‌ بدن انسان

اجزای سازنده‌ بدن انسان

عضلات بدن انسان

In Sound Mind

In Sound Mind

این ساند مایند

الغدیر

الغدیر

نرم افزار الغدیر علامه امینی بالغ بر 11 جلد فارسی و عربی

BeFunky Photo Editor Pro 6.3.2 for Android +2.2

BeFunky Photo Editor Pro 6.3.2 for Android +2.2

ویرایش قدرتمند تصاویر با قابلیت به اشتراک گذاری

Converseen 0.15.2.7-2

Converseen 0.15.2.7-2

تبدیل فرمت عکس

مداحی حاج محمود کریمی سال 96

مداحی حاج محمود کریمی سال 96

مداحی کریمی سال 96

نهج البلاغه نگارش 2

نهج البلاغه نگارش 2

نهج البلاغه برای گوشی های جاوا سازگار شده با گوشی های لمسی

Spotlight

Spotlight

افشاگر

تلاوت مجلسی استاد السید متولی عبدالعال سوره مبارکه نصر

تلاوت مجلسی استاد السید متولی عبدالعال سوره مبارکه نصر

تلاوت السید متولی عبدالعال سوره نصر

اعمال واجب و مستحب

اعمال واجب و مستحب

مفتاح الفلاح نوشته شیخ بهائی

Narco Terror

Narco Terror

نارکو ترور

Brave Guardians 3.0.6 for Android +4.0

Brave Guardians 3.0.6 for Android +4.0

نگهبانان شجاع

13جلسه سخنرانی دکتر رفیعی با موضوع آموزه های اخلاق

13جلسه سخنرانی دکتر رفیعی با موضوع آموزه های اخلاق

سخنرانی آموزه های اخلاق با ناصر رفیعی

سخنرانی شهید مطهری با موضوع نکاتی درباره مطالب خرافی عدد ۱۳

سخنرانی شهید مطهری با موضوع نکاتی درباره مطالب خرافی عدد ۱۳

نکاتی درباره مطالب خرافی عدد ۱۳ شهید مرتضی مطهری

Easy Cut Studio 6.016

Easy Cut Studio 6.016

طراحی و برش اَشکال گرافیکی

MXHome Launcher 3.1.8 for Android +2.1

MXHome Launcher 3.1.8 for Android +2.1

لانچر بسیار زیبا با افکت های بسیار

Graphisoft ARCHICAD 21 Build 6013 Win64 / Mac

Graphisoft ARCHICAD 21 Build 6013 Win64 / Mac

طراحی ساختمان

EquationsPro 11.0

EquationsPro 11.0

حل مسائل مهندسی

کتاب صوتی مثنوی معنوی مولانا به تفکیک هر شش دفتر با فرمت MP3

کتاب صوتی مثنوی معنوی مولانا به تفکیک هر شش دفتر با فرمت MP3

کتاب صوتی مثنوی معنوی از مولوی

iPadian 10.1

iPadian 10.1

شیبه‌ساز iPad با سیستم‌عامل iOS بر روی ویندوز

Speedtest by Ookla Premium 7.1.3 For Android +7.0

Speedtest by Ookla Premium 7.1.3 For Android +7.0

تست سرعت اینترنت موبایل

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!