در دنیای هوش مصنوعی محلی (Local AI)، سرعت اجرای مدل‌ها به یکی از شاخص‌های کلیدی تبدیل شده است. گوگل در ماه مه درفت‌رهای پیش‌بینی چندتوکنی (Multi-Token Prediction یا MTP) را برای مدل‌های Gemma منتشر کرد و llama.cpp در ژوئن پشتیبانی از آن را اضافه کرد. این درفت‌ر یک فایل ۲۴۲ مگابایتی است که در تست انجام‌شده روی RTX 4070 Ti Super، سرعت Gemma 4 12B را از حدود ۷۵ توکن بر ثانیه به میانگین ۱۷۹ توکن بر ثانیه رساند؛ یعنی رشد ۱۳۷ درصدی در سه بار کاری مختلف.
پیش‌بینی چندتوکنی چگونه سرعت را افزایش می‌دهد؟
پیش‌بینی چندتوکنی (MTP) در واقع نوعی دیکودینگ حدسی (Speculative Decoding) است. در این روش، مدل اصلی (Target Model) با یک درفت‌ر کوچک‌تر همراه می‌شود که در کنار آن آموزش دیده است. درفت‌ر چند توکن بعدی را حدس می‌زند و مدل بزرگ‌تر هم‌زمان چند حدس را بررسی می‌کند. اگر حدسی رد شود، مدل اصلی همچنان توکن درست را برای آن موقعیت تولید می‌کند و مرحله هدر نمی‌رود.
به گفته گوگل، MTP همان معماری‌ای است که Gemma 4 برای دیکودینگ حدسی به کار می‌برد. بنابراین به‌جای تولید توکن‌ها یکی‌یکی، درفت‌ر چند توکن جلوتر را پیش‌بینی می‌کند و مدل اصلی آن‌ها را به‌صورت موازی تأیید می‌کند.
نتیجه تست: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه
تست خط پایه (Baseline) روی سیستمی با RTX 4070 Ti Super با ۱۶ گیگابایت GDDR6X، پردازنده Ryzen 5 7600X و ۳۲ گیگابایت DDR5 انجام شد. مدل Gemma 4 12B از Unsloth با کوانت UD-Q4_K_XL و بیلد QAT، روی llama-server و بیلد b11927 از llama.cpp با زمینه ۳۲ هزار توکن (32K Context)، فلش اتنشن (Flash Attention)، قرارگیری همه لایه‌ها روی GPU و تنظیمات نمونه‌برداری پیشنهادی گوگل اجرا شد. در این تست‌ها حالت تفکر (Thinking Mode) خاموش بود.
سه بار کاری شامل تولید آرایه JSON از ۱۵ قطعه سخت‌افزاری خیالی، ساخت ابزار خط فرمان پایتون برای یافتن فایل‌های تکراری بر اساس هش SHA-256 و نوشتن داستان کوتاه ۶۰۰ کلمه‌ای بود. نتایج میانگین سه اجرا به این صورت است:
- JSON: از ۷۴.۷ به ۱۹۹.۴ توکن بر ثانیه؛ رشد ۱۶۷ درصد
- کد: از ۷۵.۵ به ۲۰۵.۴ توکن بر ثانیه؛ رشد ۱۷۲ درصد
- متن داستانی: از ۷۵.۸ به ۱۳۱.۳ توکن بر ثانیه؛ رشد ۷۳ درصد
- میانگین: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه؛ رشد ۱۳۷ درصد
فعال‌سازی MTP در llama.cpp با چهار فلگ
برای فعال‌سازی این قابلیت، باید درفت‌ر متناسب با مدل از همان مخزن QAT دانلود شود؛ زیرا مدل QAT باید با درفت‌ر QAT اجرا شود. در این تست، فایل UD-Q4_K_XL و درفت‌ر mtp-gemma-4-12B-it.gguf از مخزن Unsloth در Hugging Face دریافت شدند. سپس llama-server با چهار فلگ اضافی و بدون تغییر سایر تنظیمات خط پایه راه‌اندازی شد:
- -md mtp-gemma-4-12B-it.gguf برای بارگذاری درفت‌ر
- -ngld 99 برای قرار دادن درفت‌ر روی GPU در کنار مدل اصلی
- --spec-type draft-mtp برای اجرای درفت‌ر به‌عنوان هد MTP Gemma 4 و خواندن کش مدل اصلی
- --spec-draft-n-max 3 برای محدود کردن هر دور به سه حدس
نکات مهم پیش از فعال‌سازی
مدل‌های متراکم (Dense) مانند Gemma 4 12B بیشترین بهره را از درفت‌ر می‌برند. گوگل می‌گوید مدل‌های ترکیبی خبره (Mixture-of-Experts یا MoE) در سناریوی تک‌کاربره کمتر از درفت‌ر سود می‌کنند. نتایج به پیکربندی سخت‌افزاری هم بستگی دارد، اما تست‌کنندگان از RTX 5090 تا GT 1030 رشد سرعت گزارش کرده‌اند. برای استفاده، کافی است llama.cpp را به آخرین بیلد به‌روزرسانی کنید، درفت‌ر متناسب با مدل را دانلود کنید و چهار فلگ یادشده را اضافه کنید.