یک تحلیل‌گر فناوری که نسبت به پاسخ‌های هوش مصنوعی محتاط است، تصمیم گرفت ChatGPT، Claude و Gemini را در موضوعاتی که خودش دانش عمیقی از آن‌ها دارد آزمایش کند. نتیجه این آزمایش، به گفته او، مایه شرمساری بود؛ زیرا ابزارها در برخی موارد اطلاعات نادرست، توصیه‌های خطرناک یا پاسخ‌های متناقض ارائه دادند.
پاسخ‌های قاطعانه، اما پرخطا
به نوشته XDA Developers، مشکل اصلی این است که چت‌بات‌ها اغلب با اطمینان کامل اشتباه می‌کنند و اطلاعات مشکوک را به‌عنوان حقیقت قطعی ارائه می‌دهند. حتی زمانی که کاربر از پاسخ مطمئن نیست و با ابزاری مانند Gemini بحث می‌کند، ممکن است در نهایت چت‌بات عقب‌نشینی کند؛ اما اگر کاربر همان پاسخ اول را بپذیرد، ممکن است اطلاعات نادرست را باور کند. این وضعیت در موضوعات مختلف، از تشخیص تصویر کم‌اهمیت تا پرسش‌های تخصصی، دیده می‌شود.
نمونه‌ای از توصیه‌های خطرناک درباره نمایشگر و میگرن
در یکی از آزمایش‌ها، از ChatGPT، Claude و Gemini پرسیده شد آیا به فردی که میگرن مزمن دارد، گوشی‌ای با نرخ پایین دیمر PWM (PWM Dimming) توصیه می‌کنند یا خیر. نرخ پایین دیمر PWM با سوسو زدن صفحه در روشنایی کم مرتبط است و می‌تواند در افراد حساس، سردرد، میگرن، تهوع و خستگی چشم ایجاد کند. هر سه ابزار به‌درستی گفتند که تأثیر PWM بر افراد متفاوت است، اما فرد مبتلا به میگرن مزمن باید احتیاط کند و گوشی‌ای با DC dimming یا نرخ بالای PWM انتخاب کند.
با این حال، وقتی نوبت به پیشنهاد محصول رسید، ضعف پاسخ‌ها آشکار شد:
- ChatGPT مشخصات کلیدی را بر اساس پیشنهادهای خودش نادیده گرفت و تنها پس از یادآوری کاربر که یک گوشی پایین‌تر در فهرست از DC dimming بهره می‌برد، رتبه‌بندی خود را اصلاح کرد.
- ChatGPT در فهرست پیشنهادی خود گلکسی S26 اولترا (Galaxy S26 Ultra) را هم آورد، در حالی که در ادامه همان پاسخ، خرید آن را توصیه نکرد.
- Gemini پیشنهاد داد فرد مبتلا به میگرن مزمن روشنایی گوشی را روی حداکثر بگذارد و سپس با نرم‌افزار شخص ثالث یا قابلیت‌های داخلی آن را کاهش دهد. این راه‌حل ممکن است سوسو زدن را تا حدی حذف کند، اما یک نکته مهم را نادیده می‌گیرد: صفحه‌های بسیار روشن میگرن را تشدید و تحریک می‌کنند. حتی با فعال بودن قابلیت‌هایی مانند Extra Dim یا Reduce White Point، روشنایی ۱۰۰ درصد همچنان بیش از حد زیاد است. کاربر این موضوع را روی گلکسی S23 اولترا (Galaxy S23 Ultra) خود آزمایش کرده است.
- Gemini همچنین به خطر امنیتی نرم‌افزارهای شخص ثالث تنظیم روشنایی اشاره نکرد؛ این برنامه‌ها برای کاهش روشنایی، یک لایه روی صفحه (Overlay) اعمال می‌کنند که می‌تواند ریسک امنیتی داشته باشد.
- Gemini برای پیشنهاد محصول، گوشی‌هایی چند نسل قدیمی‌تر را معرفی کرد، بدون آنکه در پرسش، محدوده قیمت یا بازه زمانی مشخص شده باشد. برای مثال، سری Honor 200 را پیشنهاد داد، در حالی که جدیدترین سری شماره‌دار Honor، مدل Honor 600 است. در واقع، تنها گوشی‌های ۲۰۲۳ تا ۲۰۲۴ را بدون دلیل روشنی توصیه کرد.
- Claude فقط برندها را پیشنهاد داد، نه مدل‌های مشخص گوشی. با این حال، اطلاعات آن حداقل دقیق بود، هرچند مبهم.
تناقض میان ابزارهای هوش مصنوعی
برای پرسش‌هایی که پاسخ عینی دارند، انتظار می‌رود ابزارهای هوش مصنوعی به نتیجه‌ای مشابه برسند؛ اما گاهی آن‌ها کاربر را در جهت‌های کاملاً متفاوتی هدایت می‌کنند. کاربر این موضوع را در تکثیر گیاهان گوشتی (Succulent) مشاهده کرد. او پرسید آیا می‌تواند از ساقه گل برای تکثیر گیاه جدید استفاده کند. Gemini با اطمینان گفت این کار ممکن است و دستورالعمل هم داد. چند روز بعد، Brave Search گفت چنین کاری امکان‌پذیر نیست.
این تناقض یک مورد استثنایی نبود. در آزمایش دوباره، ChatGPT، Claude، Gemini و Brave Search پاسخ‌های متناقضی دادند. Claude و Brave Search بر این باور بودند که به‌طور کلی نمی‌توان گیاهان گوشتی را به این روش تکثیر کرد، اما Gemini و ChatGPT گفتند این کار ممکن است. Gemini تردیدی نشان نداد، در حالی که ChatGPT اعلام کرد فقط گاهی می‌توان چنین کاری انجام داد.
منابع و مدل‌ها؛ تفاوت در کیفیت پاسخ‌ها
به گفته کاربر، Claude و Brave Search معمولاً بهترین عملکرد را دارند. بخشی از این برتری به این دلیل است که این ابزارها می‌توانند عدم قطعیت خود را بیان کنند و بخشی دیگر به کیفیت کلی منابع بازمی‌گردد. با این حال، آن‌ها هم خطا ندارند. Brave Search به‌ویژه ممکن است به منابعی اولویت دهد که لزوماً معتبر نیستند. برای مثال، اگر پرسشی بسیار تخصصی و کم‌طرفدار باشد، این موتور جست‌وجو اغلب Reddit را به‌عنوان منبع ذکر می‌کند و حتی پاسخ‌هایی ارائه می‌دهد که اساساً به یک کامنت Reddit متکی است.
این موضوع نشان می‌دهد منابع و رفتار مدل‌ها چگونه می‌توانند پاسخ‌ها را شکل دهند. حتی NotebookLM که نسبت به سایر ابزارهای هوش مصنوعی کمتر دچار توهم‌زایی (Hallucination) می‌شود، با منابع نادرست می‌تواند پاسخ‌های اشتباه بدهد. با این وجود، وقتی منابع متعددی درباره یک موضوع وجود دارد، این ابزارها برخی مباحث را خوب توضیح می‌دهند؛ اما در جزئیات دقیق و تخصصی، اغلب ضعف نشان می‌دهند. Claude همچنان ابزاری است که بیشترین تأثیر مثبت را بر کاربر گذاشته است.
نتیجه: راستی‌آزمایی را جدی بگیرید
هشدارهای همیشگی درباره اشتباه بودن پاسخ‌های هوش مصنوعی وجود دارد، اما بسیاری از مردم همچنان از این پاسخ‌ها به‌عنوان تنها منبع حقیقت استفاده می‌کنند. آزمایش‌های واقعی نشان می‌دهد این پاسخ‌ها چقدر می‌توانند عوامل کلیدی را نادیده بگیرند، با خودشان در تناقض باشند یا اطلاعاتی کم‌کیفیت ارائه دهند. استفاده از پاسخ‌های هوش مصنوعی برای پرسش‌های کم‌اهمیت احتمالاً پیامد جدی ندارد؛ شاید فقط وقت کاربر برای تکثیر اشتباه یک گیاه تلف شود. اما برای اطلاعات قابل اعتماد در موضوعاتی که کاربر مطمئن نیست، باید منابع را بررسی کرد و پاسخ را از رسانه‌ها و مراجع معتبر گرفت.