مایکروسافت که یکی از بزرگ‌ترین سرمایه‌گذاران حوزه هوش مصنوعی است، در گزارش امنیتی تازه‌ای هشدار داده است که عامل‌های هوش مصنوعی (AI Agents) را نمی‌توان قابل اعتماد دانست. در این گزارش، هیئت گالو (Hayete Gallot)، معاون اجرایی بخش امنیت مایکروسافت، تأکید کرده است که «مدل‌های پیشرو (Frontier Models)، صرف‌نظر از منشأ آن‌ها، قابل اعتماد نیستند.»
چرا مدل‌های پیشرو قابل اعتماد نیستند؟
به گفته مایکروسافت، مشکل اصلی ماهیت مخرب ذاتی این مدل‌ها نیست؛ بلکه آن‌ها به‌راحتی برای رسیدن به نتیجه، بدون توجه به «هنجارهای سازمانی یا قضاوت» منحرف می‌شوند. این هشدار تنها چند هفته پس از آن منتشر می‌شود که مایکروسافت زیرساخت تازه‌ای برای مهار عامل‌های هوش مصنوعی در ویندوز معرفی کرد.
این هم‌زمانی نشان می‌دهد شرکت هم در حال قدرتمندتر کردن عامل‌هاست و هم می‌کوشد حفاظ‌هایی پیرامون آن‌ها بسازد تا بقیه فضای وب از رفتارشان در امان بماند.
وقتی عامل‌های هوش مصنوعی سرکش می‌شوند
خطر عامل‌های سرکش پیش‌تر نیز در چند مورد دیده شده است. یکی از شناخته‌شده‌ترین نمونه‌ها، ماجرای حمله مرتبط با OpenAI به Hugging Face بود که در آن حدود ۷۰۰ عامل خودمختار پس از خروج از مهار (Containment)، راهی برای نفوذ به پلتفرم توسعه‌دهنده هوش مصنوعی پیدا کردند. در این رخداد، عامل‌ها به اشتراک‌گذاری اکسپلویت‌ها و حفظ حافظه ادامه دادند، حتی زمانی که ربات‌های سرکش در حال مهار بودند.
مایکروسافت پیش‌تر نیز درباره خطرهای عامل‌های هوش مصنوعی هشدار داده بود. در نوامبر ۲۰۲۵ اعلام شد قابلیت‌های عامل‌محور در ویندوز ۱۱ تنها در صورتی باید فعال شوند که کاربر «پیامدهای امنیتی را درک کند». این عامل‌ها به‌ویژه در برابر تزریق میان‌پیامی (Cross-Prompt Injection یا XPIA) آسیب‌پذیرند؛ روشی که می‌تواند دستورهای کاربر به عامل را بازنویسی کند و به سرقت داده یا آلودگی به بدافزار منجر شود.
مایکروسافت اکنون هوش مصنوعی مورد استفاده در محیط کار را در دسته «نفوذی‌های عامل‌محور» (Agentic Insiders) قرار می‌دهد؛ موجودیت‌هایی که تقریباً در هر زمانی می‌توانند سرکش شوند و رفتاری غیرقابل پیش‌بینی داشته باشند. هرچه این عامل‌ها بیشتر به سامانه‌های سازمانی متصل شوند، خطرهای آن‌ها نیز بیشتر می‌شود و نظارت مداوم بر آن‌ها ضروری است.
عامل‌های نگهبان؛ پاسخ مایکروسافت به تهدید
پاسخ مایکروسافت به مشکل عامل‌های سرکش، هوش مصنوعی بیشتر است. این شرکت عامل‌های نگهبان (Guardian Agents) را طراحی کرده است تا به‌جای اتکا به نظارت انسانی، «هر اقدام هر عامل را پیش از وقوع، به‌صورت شبانه‌روزی تماشا و مدیریت کنند.»
نمونه‌ای از کاربرد این عامل‌ها، پروژه Perception مایکروسافت است. این پروژه که تابستان امسال معرفی شد و هنوز به‌طور گسترده در دسترس نیست، سیگنال‌ها، زمینه، مدل‌ها و عامل‌های تخصصی را در قالب یک خط دفاعی چهارلایه در برابر تهدیدهای بیرونی و درونی سازمان به کار می‌گیرد. به بیان ساده، اینجا هوش مصنوعی با هوش مصنوعی مقابله می‌کند، زیرا به باور مایکروسافت انسان‌ها دیگر امیدی به همگام شدن با سرعت این تهدیدها ندارند.
جمع‌بندی
مایکروسافت در موقعیت دشواری قرار گرفته است: از یک سو یکپارچه‌سازی سطحی هوش مصنوعی در ویندوز ۱۱ را کاهش داده و از سوی دیگر تمرکز خود را بر زیرساخت عمیق‌تر عامل‌ها گذاشته است؛ همه این‌ها در حالی است که خود می‌گوید مدل‌های پایه قابل اعتماد نیستند. راه‌حل فعلی شرکت، مهار، نظارت و بازبینی است؛ اما پرسش اصلی این است که آیا این حفاظ‌ها برای جلوگیری از یک فاجعه کافی خواهند بود یا نه.