Старший писатель
Новый Agent Governance Toolkit от Microsoft нацелен на главные риски OWASP для ИИ-агентов
news
8 апр. 20263 мин
Проект с открытым исходным кодом напрямую соотносится с 10 главными угрозами для агентного ИИ по версии OWASP, стремясь сдерживать такие проблемы, как внедрение промптов, выход агентов из-под контроля и неправомерное использование инструментов во время выполнения.
Credit: Rob Schultz / Shutterstock
Microsoft незаметно представила Agent Governance Toolkit — проект с открытым исходным кодом, предназначенный для мониторинга и управления ИИ-агентами во время выполнения, пока предприятия пытаются внедрять их в производственные рабочие процессы.
Этот набор инструментов, являющийся ответом на растущее внимание Open Worldwide Application Security Project (OWASP) к рискам безопасности ИИ и LLM, добавляет уровень безопасности во время выполнения, который обеспечивает соблюдение политик для смягчения таких проблем, как внедрение промптов, а также улучшает наблюдаемость за поведением агентов в сложных многошаговых рабочих процессах, написал Имран Сиддик, главный менеджер по инженерии в группе Microsoft, в посте в блоге.
Если точнее, toolkit соотносится с 10 главными рисками для агентных систем по версии OWASP, включая захват целей, неправомерное использование инструментов, злоупотребление идентичностью, риски цепочки поставок, выполнение кода, отравление памяти, небезопасные коммуникации, каскадные сбои, эксплуатацию доверия между человеком и агентом и агентов-нарушителей.
По словам Сиддика, причина создания toolkit заключается в том, что ИИ-системы все больше напоминают слабо управляемые распределенные среды, где несколько ненадежных компонентов делят ресурсы, принимают решения и взаимодействуют с внешним миром при минимальном надзоре.
Это побудило Microsoft применить проверенные шаблоны проектирования из операционных систем, сервисных сетей и инженерии надежности сайтов, чтобы привнести в эти среды структуру, изоляцию и контроль, добавил Сиддик.
Результатом стало то, что гигант из Редмонда упаковал эти принципы в toolkit, состоящий из семи компонентов, доступных на Python, TypeScript, Rust, Go и .NET.
Подход с несколькими языками, объяснил Сиддик, нацелен на то, чтобы встретить разработчиков там, где они находятся, и обеспечить интеграцию в неоднородные корпоративные стеки.
Что касается компонентов, toolkit включает модули, такие как слой принудительного применения политик под названием Agent OS, фреймворк безопасной связи и идентификации под названием Agent Mesh, среда управления выполнением под названием Agent Runtime, а также дополнительные компоненты, такие как Agent SRE, Agent Compliance и Agent Lightning, охватывающие надежность, соответствие требованиям, управление маркетплейсом и контроль обучения с подкреплением.
Помимо модульной структуры, Сиддик также написал, что toolkit создан для работы с существующими экосистемами разработки: «Мы спроектировали toolkit так, чтобы с первого дня он был независимым от фреймворка. Каждая интеграция подключается к нативным точкам расширения фреймворка, обработчикам callback в LangChain, декораторам задач CrewAI, системе плагинов Google ADK, конвейеру middleware Microsoft Agent Framework, так что добавление управления не требует переписывания кода агента».
Этот подход, пояснил старший руководитель, снизит накладные расходы и риски интеграции, позволяя разработчикам внедрять средства управления в производственные системы без нарушения существующих рабочих процессов или затрат и сложности, связанных с переработкой архитектуры приложений.
Сиддик даже привел примеры нескольких интеграций с фреймворками, которые уже развернуты в производственных нагрузках, включая интеграцию LlamaIndex TrustedAgentWorker.
Для тех, кто хочет изучить toolkit, который в настоящее время доступен в публичном предварительном доступе, он распространяется по лицензии MIT и структурирован как monorepo с компонентами, которые можно устанавливать независимо.
В будущем Microsoft планирует перевести проект на модель, управляемую фондом, и уже взаимодействует с сообществом OWASP agentic AI, чтобы поддержать более широкое управление и кураторство, написал Сиддик.
Искусственный интеллектИнструменты разработкиРазработка ПОБезопасность
Старший писатель
Анниран — отмеченный наградами журналист, увлеченный корпоративным ПО, облачными вычислениями, базами данных, аналитикой данных, инфраструктурой ИИ и генеративным ИИ. Он пишет для CIO, InfoWorld, Computerworld и Network World. Он получил серебряную премию Azbee 2024 года за лучшую новостную статью в категории технологий. У него есть диплом о последипломном образовании в области журналистики Индийского института журналистики и новых медиа.
Еще от этого автора
Покажите мне больше
news
Новый Agent Governance Toolkit от Microsoft нацелен на главные риски OWASP для ИИ-агентов
Автор: Анниран Гошал8 апр. 20263 мин
Искусственный интеллектИнструменты разработкиБезопасность
feature
Начните работу с новым типом frozendict в Python
Автор: Сердар Егулап8 апр. 20265 мин
Языки программированияPythonРазработка ПО
opinion
Победители и проигравшие в ИИ-кодинге
Автор: Ник Ходжес8 апр. 20264 мин
РазработчикГенеративный ИИТемы
video
Новый тип frozendict в Python
video
Как повысить производительность приложения с помощью ленивого импорта Python 3.15
video
Как запустить свой собственный маленький локальный Claude Code (ну, почти!)
26 мар. 20267 мин
Python
Материал — перевод статьи с английского.
Оригинал: Microsoft’s new Agent Governance Toolkit targets top OWASP risks for AI agents