نویسنده وب‌سایت XDA Developers در تجربه‌ای یک‌هفته‌ای، به‌جای اتکا به دستیارهای ابری مانند ChatGPT، Claude و Gemini، تمام کارهای خود را با مدل‌های زبانی محلی (Local LLMs) انجام داد. او با ابزارهایی مثل LM Studio و Ollama چند مدل محبوب از جمله Qwen و Gemma را روی کامپیوتر شخصی اجرا کرد تا ببیند کدام بخش از گردش کار روزمره را می‌توان بدون ابر پیش برد.
راه‌اندازی آسان‌تر از تصور
برخلاف انتظار، راه‌اندازی هوش مصنوعی محلی پیچیده نبود. ابزارهایی مانند LM Studio و Ollama فرایند دانلود و اجرای مدل‌ها را ساده کرده‌اند. نویسنده توانست در زمان کوتاهی چند مدل را اجرا کند و از سرعت پاسخ‌دهی آن‌ها شگفت‌زده شود.
نقاط قوت هوش مصنوعی محلی
مدل‌های محلی در کارهای روزمره عملکرد خوبی داشتند. از ایده‌پردازی برای مقاله و تولید طرح اولیه گرفته تا بازنویسی پاراگراف‌های نامناسب، خلاصه‌سازی اسناد کوتاه، ساخت برنامه غذایی و پاسخ به پرسش‌های ساده برنامه‌نویسی. مزیت مهم آن‌ها این بود که داده‌ها بدون ارسال به سرور راه دور پردازش می‌شدند و برای این کارهای ساده کمتر نیازی به باز کردن ChatGPT یا Claude احساس می‌شد.
برنامه‌نویسی؛ چالش واقعی
نویسنده مدل Qwen2.5-Coder 7B را که مدلی نسبتاً سبک اما توانمند برای کدنویسی است، از طریق LM Studio اجرا کرد. این مدل در تولید اسکریپت‌های پایتون، رفع باگ‌های ساده، توضیح کد ناآشنا و تغییرات کوچک در پروژه‌ها خوب عمل کرد. اما با پیچیده‌تر شدن کارها، ضعف‌ها آشکار شد.
- کار با چند فایل و پروژه‌های بزرگ نیازمند درخواست‌های مکرر و دخالت دستی بود.
- اشکال‌زدایی پیچیده و درک کل پروژه برای مدل محلی دشوار بود.
- ابزارهایی مانند Claude Code در درک کل پروژه، پیمایش فایلها، برنامه‌ریزی تغییرات و حل مسائل پیچیده برتری داشتند.
نتیجه این بود که هوش مصنوعی محلی برای کمک سریع به کدنویسی کاملاً قابل استفاده است، اما هنوز جایگزین ابزارهای ابری برنامه‌نویسی نمی‌شود.
پژوهش و اطلاعات به‌روز؛ بزرگ‌ترین محدودیت
مهم‌ترین نقطه‌ضعف در پژوهش و دسترسی به اطلاعات جاری نمایان شد. نویسنده هنگام خرید یک مانیتور OLED قصد داشت بین Samsung Smart Monitor M9 و Odyssey OLED G8 مقایسه کند، اما مدل محلی اطلاعات قدیمی داشت و از مدل جدید Odyssey G8 با پنل OLED بهبودیافته و پورت USB-C با پشتیبانی از توان تا 98 وات بی‌خبر بود. در مقابل، ChatGPT توانست مدل‌های جدید را مقایسه کند و با توجه به نیازهای خاص او مانند سازگاری با دسکتاپ ویندوز، مک‌بوک پرو و Fire TV Stick گزینه‌ها را محدودتر کند.
یکپارچگی با ابزارهای روزمره
حوزه دیگری که هوش مصنوعی محلی در آن ضعیف عمل کرد، اتصال به اپلیکیشن‌های بهره‌وری روزمره بود. ChatGPT می‌تواند به سرویس‌هایی مانند Notion، Outlook، Google Drive و Asana متصل شود و به‌عنوان یک مرکز بهره‌وری عمل کند. برای مثال، ساخت پایگاه داده در Notion، خلاصه‌سازی ایمیل‌های تازه، استخراج اسناد مرتبط از Drive و بررسی کارهای در انتظار در Asana. همچنین Gemini با سرویس‌های گوگل مانند Tasks، Keep Notes، YouTube Music، WhatsApp و Canva یکپارچگی خوبی دارد. بازسازی این راحتی با هوش مصنوعی محلی نیازمند تنظیم APIها، راه‌اندازی کانکتورها و ساخت گردش‌کارهای سفارشی است که زمان‌بر است.
اسناد طولانی و هزینه نگهداری
کار با اسناد طولانی نیز دشوار بود. خلاصه‌سازی یک PDF کوتاه یا استخراج نکات کلیدی از چند صفحه ساده بود، اما اسناد فنی بزرگ‌تر پاسخ‌ها را کندتر می‌کرد، گاهی جزئیات مهم از قلم می‌افتاد و کاربر مجبور می‌شد سند را به بخش‌های کوچک تقسیم کند. در مقابل، ابزارهایی مانند Gemini Notebooks یا ChatGPT Projects امکان بارگذاری اسناد طولانی و پرسش‌وپاسخ بدون این محدودیت‌ها را فراهم می‌کنند.
عامل دیگری که تجربه را خسته‌کننده کرد، نگهداری مدل‌ها بود. نویسنده زمان قابل‌توجهی را صرف دانلود مدل‌های مختلف، آزمایش سطوح کوانتیزاسیون (Quantization)، تنظیم پنجره زمینه (Context Window) و پایش مصرف حافظه رم (RAM) کرد. جابه‌جایی میان مدل‌ها برای نوشتن، کدنویسی و استدلال نیز طاقت‌فرسا بود.
جمع‌بندی؛ انتخاب بین محلی و ابری نیست
مدل‌های زبانی محلی برای ایده‌پردازی، بازنویسی پاراگراف‌ها، خلاصه‌سازی یادداشت‌های کوتاه و پاسخ به پرسش‌های پایه توانمندند، اما در وظایف پیچیده ترک‌ها نمایان می‌شود. تجربه یک‌هفته‌ای نشان داد که مسئله انتخاب میان هوش مصنوعی محلی و ابری نیست، بلکه شناخت زمان و جایگاه مناسب هر کدام است. راحتی ابزارهای ابری همچنان مزیت مهمی است که نمی‌توان به‌سادگی نادیده گرفت.