Microsoft предлагает разработчикам способ лучше контролировать поведение AI-агентов

По мере того как AI-агенты становятся все более способными, перед предприятиями, которые спешат задействовать их в приложениях, рабочих процессах и продуктах, возникает новая задача: убедиться, что агент делает именно то, что должен, когда его разворачивают в разных средах.

Спецификация по сути позволяет командам разработчиков, комплаенса и безопасности задавать собственные политики, которым должны следовать агенты. Правила могут определять, что агенту разрешено делать, что ему запрещено, когда действие должен одобрить человек и какие доказательства нужно записывать для последующей проверки. Эти файлы политик проверяются в нескольких «точках перехвата», пока агент выполняет задачу, чтобы убедиться, что он остается в рамках ограничений.

Спецификация появилась на фоне того, что разработчики импровизируют способы контролировать, что их ИИ видит и делает, особенно на фоне обсуждений сбоев AI workflows из-за неправильного использования tools или непреднамеренных действий, которые приводят к каскадным отказам.

Сегодня разработчики могут задавать инструкции в system prompt, добавлять собственные проверки в код приложения или использовать classifiers для выявления проблемных входов и выходов. Эти подходы работают, но часто оставляют компании с фрагментированными средствами контроля, которые трудно аудировать и еще труднее переиспользовать в разных frameworks, интерфейсах и системах.

Image Credits: Microsoft

ACS нацелен на то, чтобы объединить эти механизмы в общий слой governance. Microsoft говорит, что спецификацию можно использовать для проверки того, соблюдает ли агент ограничения на нескольких этапах workflow — до получения входных данных, перед вызовом tool, после возврата результата tool и перед отправкой финального ответа пользователю. Политика может разрешить действие, заблокировать его, скрыть sensitive information или даже запросить одобрение человека.

Разработчики также могут подключать classifiers для входов и выходов, чтобы категоризировать информацию, предсказывать результаты или определять, как агент должен отвечать; добавлять LLM с prompt’ами, чтобы они выступали в роли «судьи» для политик; а также логику для проверки tool calls, выбора tools, точности входных данных, использования результатов и ответов.

А поскольку эти политики можно записывать в виде отдельных файлов, их можно поставлять вместе с агентами, чтобы policy безопасности следовала за агентом через разные frameworks и среды.

ACS поставляется как SDK с плагинами для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP tools и других.

При покупке по ссылкам в наших материалах мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость.

Ram — финансовый и технологический репортер и редактор. Он освещал новости M&A, акционерного капитала, регулирования и долговых рынков в Северной Америке и Европе в Reuters и Acuris Global, а также писал о путешествиях, туризме, развлечениях и книгах.

Материал — перевод статьи с английского.

Оригинал: Microsoft offers devs a better way to control AI agent behavior