Microsoft Copilot Studio به شرکت‌ها امکان می‌دهد تا از طریق یک رابط کاربری گرافیکی ساده، دستیارها و عامل‌های هوش مصنوعی سفارشی ایجاد کنند. پس از ایجاد، این دستیارها و عامل‌ها می‌توانند مستقیماً در Copilot Studio تست و منتشر شوند.
امروز، مایکروسافت یک ابزار پیش‌نمایش تحقیقاتی جدید در Copilot Studio به نام “استفاده از کامپیوتر” (Computer Use) معرفی کرد. این ابزار به عامل‌های Copilot Studio اجازه می‌دهد تا با هر وب‌سایت یا برنامه دسکتاپ مانند یک ابزار تعامل داشته باشند. عامل‌ها اکنون می‌توانند روی دکمه‌ها کلیک کنند، منوها را انتخاب کنند و در فیلدهای برنامه‌ها و وب‌سایت‌ها تایپ کنند. ابزار جدید “استفاده از کامپیوتر” به عامل‌ها امکان می‌دهد در محیط‌هایی که API برای ادغام برنامه‌نویسی در دسترس نیست، فعالیت کنند.
این ابزار که توسط یک مدل زبانی بزرگ (LLM) قدرت گرفته است، می‌تواند به طور خودکار با تغییرات در برنامه‌ها و وب‌سایت‌ها سازگار شود. طبق گفته مایکروسافت، این ابزار دارای قابلیت‌های استدلال داخلی برای حل مسائل به صورت خودکار است.
برای اطمینان از آماده بودن ابزار “استفاده از کامپیوتر” برای سازمان‌ها، این ابزار روی زیرساخت‌های میزبانی شده مایکروسافت اجرا می‌شود و نیاز سازمان‌ها به مدیریت سرورهای خود را از بین می‌برد. مایکروسافت تأکید کرد که داده‌های مشتریان در محدوده Microsoft Cloud باقی می‌ماند و برای آموزش مدل‌های زبانی بزرگ استفاده نخواهد شد.
مایکروسافت روش‌های زیر را برای بهبود اتوماسیون فرآیند رباتیک (RPA) توسط ابزار “استفاده از کامپیوتر” برجسته کرد:
- به تغییرات در زمان واقعی پاسخ می‌دهد: وقتی دکمه‌ها یا صفحه‌ها تغییر می‌کنند، ابزار بدون اختلال در روند کار به کار خود ادامه می‌دهد.
- استفاده از آن آسان است: می‌توانید آنچه می‌خواهید را به زبان طبیعی توصیف کنید، نیازی به کدنویسی نیست و می‌توانید دستور را با ویدیوی همزمان از زنجیره استدلال استفاده از کامپیوتر و اتوماسیون UI برنامه‌ریزی شده آزمایش و اصلاح کنید.
- با هوشمندی ساخته شده است: عامل آنچه روی صفحه است را می‌بیند و در زمان واقعی تصمیمات هوشمندانه می‌گیرد، حتی در محیط‌های پیچیده یا دائماً در حال تغییر.
- دارای قابلیت مشاهده کامل است: سازندگان می‌توانند در هر زمان تاریخچه فعالیت استفاده از کامپیوتر را مشاهده کنند، از جمله تصاویر ضبط شده و مراحل استدلال.
اوایل امسال، OpenAI از Operator رونمایی کرد که از یک مدل عامل استفاده‌کننده از کامپیوتر (CUA) استفاده می‌کند که قابلیت‌های بینایی GPT-4 را با استدلال پیشرفته از طریق یادگیری تقویتی ترکیب می‌کند. مایکروسافت ممکن است از همان فناوری زیربنایی Operator برای قدرت بخشیدن به این ابزار جدید “استفاده از کامپیوتر” در Copilot Studio استفاده کند.