گوگل در ماه ژوئن، Gemma۲ رو معرفی کرد که نسل بعدی مدل های زبانی بازه و بر اساس ساختار جدیدی طراحی شده تا خیلی سریع و کارآمد باشه. تا دیروز، Gemma۲ در دو اندازه ۹ میلیارد و ۲۷ میلیارد پارامتر وجود داشت. دیروز گوگل خانواده Gemma ۲ رو با ۲ میلیارد پارامتر گسترش داد.
جما ۲ جدید ادعا میکنه که بهترین عملکرد رو داره و حتی همه مدل های GPT-3.5 رو در رقابت چت بات با نمره ۱۱۲۰ شکست داده. این مدل میتونه روی سخت افزارهای مختلف از کامپیوترهای شخصی و دستگاه های لبهای تا فضای ابری گوگل کلود ورکس ای به خوبی کار کنه. گوگل این مدل رو با کتابخانه NVIDIA TensorRT-LLM بهینه کرده و توسع هدهنده ها میتونن ازش به عنوان NVIDIA NIM (میکروسرویس های استنتاج انویدیا) استفاده کنن. چون این مدل برای کتابخانه NVIDIA TensorRT-LLM بهینه شده، میتونه روی پلتفرمهای مختلف با استفاده از پردازنده های گرافیکی NVIDIA RTX، NVIDIA GeForce RTX و ماژول های NVIDIA Jetson اجرا بشه. علاوه بر این، جما ۲ با کتابخانه های Keras، JAX، Hugging Face، NVIDIA NeMo، Ollama، Gemma.cpp و به زودی MediaPipe سازگار شده تا توسعه راحت تر باشه.
وزن های مدل Gemma ۲ برای دانلود از کاگل، هاگینگ فیس و ورکس ای مدل گاردن در دسترسه. برخلاف مدل های گوگل جیمینی، جما ۲ با مجوز تجاری سازگار عرضه میشه. گوگل علاوه بر جما ۲، مدل های طبقه بندی محتوای امنیتی شیلد جما و ابزار تفسیر مدل جما اسکوپ رو هم معرفی کرد.
در ماه آوریل، مایکروسافت خانواده مدل های زبانی فی ۳ رو معرفی کرد که مستقیم با خانواده مدل های جما گوگل رقابت میکنه. خانواده فی ۳ شامل سه مدل هست: فی ۳ مینی یک مدل زبانی ۳.۸ میلیارد پارامتریه که در دو نسخه با طول متن ۴ هزار و ۱۲۸ هزار توکن موجوده. فی ۳ اسمال یک مدل زبانی ۷ میلیارد پارامتریه که در دو نسخه با طول متن ۸ هزار و ۱۲۸ هزار توکن موجوده. فی ۳ مدیوم یک مدل زبانی ۱۴ میلیارد پارامتریه که اونم در همون دو نسخه طول متن موجوده.
ظهور مدل های زبانی کوچیک تر اما قدرتمند مثل Gemma ۲ گوگل و phi ۳ مایکروسافت نشون میده که صنعت هوش مصنوعی داره به سمت مدل های کوچیک تر میره. این تغییر به سمت مدل های کوچیک تر، دسترسی و کارایی رو اولویت قرار میده و باعث میشه که این مدل ها روی دستگاه های بیشتری قابل استفاده باشن و هزینه های محاسباتی کمتر بشه.