Microsoft предлагает разработчикам способ лучше контролировать поведение AI-агентов
По мере того как AI-агенты становятся все более способными, перед предприятиями, которые спешат задействовать их в приложениях, рабочих процессах и продуктах, возникает новая задача: убедиться, что агент делает именно то, что должен, когда его разворачивают в разных средах.
Спецификация по сути позволяет командам разработчиков, комплаенса и безопасности задавать собственные политики, которым должны следовать агенты. Правила могут определять, что агенту разрешено делать, что ему запрещено, когда действие должен одобрить человек и какие доказательства нужно записывать для последующей проверки. Эти файлы политик проверяются в нескольких «точках перехвата», пока агент выполняет задачу, чтобы убедиться, что он остается в рамках ограничений.
Спецификация появилась на фоне того, что разработчики импровизируют способы контролировать, что их ИИ видит и делает, особенно на фоне обсуждений сбоев AI workflows из-за неправильного использования tools или непреднамеренных действий, которые приводят к каскадным отказам.
Сегодня разработчики могут задавать инструкции в system prompt, добавлять собственные проверки в код приложения или использовать classifiers для выявления проблемных входов и выходов. Эти подходы работают, но часто оставляют компании с фрагментированными средствами контроля, которые трудно аудировать и еще труднее переиспользовать в разных frameworks, интерфейсах и системах.
Image Credits: Microsoft
ACS нацелен на то, чтобы объединить эти механизмы в общий слой governance. Microsoft говорит, что спецификацию можно использовать для проверки того, соблюдает ли агент ограничения на нескольких этапах workflow — до получения входных данных, перед вызовом tool, после возврата результата tool и перед отправкой финального ответа пользователю. Политика может разрешить действие, заблокировать его, скрыть sensitive information или даже запросить одобрение человека.
Разработчики также могут подключать classifiers для входов и выходов, чтобы категоризировать информацию, предсказывать результаты или определять, как агент должен отвечать; добавлять LLM с prompt’ами, чтобы они выступали в роли «судьи» для политик; а также логику для проверки tool calls, выбора tools, точности входных данных, использования результатов и ответов.
А поскольку эти политики можно записывать в виде отдельных файлов, их можно поставлять вместе с агентами, чтобы policy безопасности следовала за агентом через разные frameworks и среды.
ACS поставляется как SDK с плагинами для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP tools и других.
При покупке по ссылкам в наших материалах мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость.
Ram — финансовый и технологический репортер и редактор. Он освещал новости M&A, акционерного капитала, регулирования и долговых рынков в Северной Америке и Европе в Reuters и Acuris Global, а также писал о путешествиях, туризме, развлечениях и книгах.
Материал — перевод статьи с английского.
Оригинал: Microsoft offers devs a better way to control AI agent behavior