Управление, регулирование и политика
Open-source набор инструментов Microsoft защищает ИИ-агентов во время выполнения
8 апреля 2026
Поделиться этой историей:
Теги:
agentic aiИИ-агентыавтоматизациясоответствие требованиямкибербезопасностькорпоративный ИИуправлениеинфраструктураllmmicrosoftopen-sourceprompt injectionбезопасность во время выполненияуправление токенами
Категории:
Стратегия бизнеса в сфере ИИГлавные новостиСтатьиУправление, регулирование и политикаКак это работаетВнутри ИИOpen-Source и демократизированный ИИ
Новый open-source набор инструментов от Microsoft делает упор на безопасность во время выполнения, чтобы навязать строгий контроль корпоративным ИИ-агентам. Этот релиз решает растущую проблему: автономные языковые модели теперь выполняют код и подключаются к корпоративным сетям гораздо быстрее, чем традиционные механизмы политик успевают за ними.
Раньше интеграция ИИ означала разговорные интерфейсы и вспомогательных copilot-ассистентов. Эти системы имели доступ только для чтения к определённым наборам данных, а человек оставался строго в контуре выполнения. Сейчас организации разворачивают agentic-фреймворки, которые самостоятельно принимают решения, напрямую подключая эти модели к внутренним прикладным программным интерфейсам, облачным хранилищам и конвейерам непрерывной интеграции.
Когда автономный агент может прочитать письмо, решить написать скрипт и отправить этот скрипт на сервер, жёсткое управление становится жизненно необходимым. Статический анализ кода и предварительное сканирование уязвимостей просто не справляются с недетерминированной природой больших языковых моделей. Одна атака prompt injection (или даже базовая галлюцинация) может заставить агента перезаписать базу данных или выгрузить клиентские записи.
Новый набор инструментов Microsoft вместо этого делает ставку на безопасность во время выполнения, предлагая способ отслеживать, оценивать и блокировать действия в тот момент, когда модель пытается их выполнить. Это лучше, чем полагаться на предобучение или статические проверки параметров.
Перехват уровня вызова инструментов в реальном времени
Если посмотреть на механику вызова инструментов агентом, становится понятно, как это работает. Когда корпоративный ИИ-агент должен выйти за пределы своей основной нейросети, чтобы, например, запросить систему учёта запасов, он генерирует команду для обращения к внешнему инструменту.
Фреймворк Microsoft помещает механизм принудительного соблюдения политик прямо между языковой моделью и более широкой корпоративной сетью. Каждый раз, когда агент пытается вызвать внешнюю функцию, набор инструментов перехватывает запрос и сверяет предполагаемое действие с центральным набором правил управления. Если действие нарушает политику (например, агент, которому разрешено только читать данные о запасах, пытается оформить заказ на закупку), набор инструментов блокирует API-вызов и записывает событие, чтобы человек мог его проверить.
Команды безопасности получают проверяемый, пригодный для аудита след каждого автономного решения. Разработчики тоже выигрывают: они могут строить сложные мультиагентные системы, не встраивая вручную протоколы безопасности в каждый отдельный запрос к модели. Политики безопасности полностью отделяются от основной логики приложения и управляются на уровне инфраструктуры.
Большинство устаревших систем никогда не создавались для работы с недетерминированным ПО. Старая мейнфреймовая база данных или кастомизированный пакет enterprise resource planning не имеют встроенной защиты от того, что модель машинного обучения начнёт отправлять некорректные запросы. Набор инструментов Microsoft выступает в роли защитного слоя перевода. Даже если базовая языковая модель окажется скомпрометирована внешними входными данными; периметр системы всё равно удержится.
Руководители по безопасности могут задаться вопросом, почему Microsoft решила выпустить этот набор инструментов для работы во время выполнения под open-source лицензией. Всё сводится к тому, как на самом деле работают современные цепочки поставок программного обеспечения.
Разработчики сейчас спешат создавать автономные рабочие процессы, используя огромную смесь open-source библиотек, фреймворков и сторонних моделей. Если бы Microsoft привязала эту функцию безопасности во время выполнения к своим проприетарным платформам, команды разработчиков, скорее всего, просто обходили бы её ради более быстрых, непроверенных обходных решений, чтобы уложиться в сроки.
Публичный выпуск набора инструментов означает, что средства безопасности и управления можно встроить в любой технологический стек. Неважно, использует ли организация локальные open-weight модели, опирается на конкурентов вроде Anthropic или разворачивает гибридные архитектуры.
Создание открытого стандарта для безопасности ИИ-агентов также позволяет более широкому сообществу кибербезопасности внести свой вклад. Поставщики решений безопасности могут надстраивать над этой открытой основой коммерческие панели управления и интеграции для реагирования на инциденты, что ускоряет зрелость всей экосистемы. Для бизнеса это означает отсутствие привязки к поставщику, но при этом наличие универсально проверяемой базовой безопасности.
Следующий этап управления корпоративным ИИ
Корпоративное управление не ограничивается безопасностью; оно затрагивает и финансовый, и операционный контроль. Автономные агенты работают в непрерывном цикле рассуждения и выполнения, сжигая API-токены на каждом шаге. Стартапы и предприятия уже видят, как расходы на токены стремительно растут при развёртывании agentic-систем.
Без управления во время выполнения агент, которому поручено искать рыночный тренд, может решить обратиться к дорогой проприетарной базе данных тысячи раз, прежде чем завершит работу. Если оставить его без контроля, плохо настроенный агент, попавший в рекурсивный цикл, может за несколько часов накопить огромные счета за облачные вычисления.
Набор инструментов во время выполнения даёт командам способ жёстко ограничивать потребление токенов и частоту API-вызовов. Установив пределы на количество действий, которые агент может предпринять за определённый промежуток времени, значительно проще прогнозировать затраты на вычисления. Это также останавливает выходящие из-под контроля процессы, которые пожирают системные ресурсы.
Уровень управления во время выполнения предоставляет количественные метрики и механизмы контроля, необходимые для соблюдения требований комплаенса. Времена, когда можно было просто доверять поставщикам моделей фильтрацию плохих результатов, подходят к концу. За безопасность системы теперь отвечает инфраструктура, которая фактически выполняет решения моделей
Запуск зрелой программы управления потребует тесного взаимодействия между командами разработки операций, юристами и специалистами по безопасности. Возможности языковых моделей только растут, и именно те организации, которые уже сегодня внедряют строгий контроль во время выполнения, будут готовы к автономным рабочим процессам завтрашнего дня.
См. также: Когда ИИ-агенты берут на себя больше задач, управление становится приоритетом
Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите AI & Big Data Expo, которая проходит в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится совместно с другими ведущими технологическими событиями, включая Cyber Security & Cloud Expo. Нажмите здесь для получения дополнительной информации.
AI News поддерживается TechForge Media. Ознакомьтесь с другими предстоящими мероприятиями и вебинарами по корпоративным технологиям здесь.
Ryan Daws — старший редактор TechForge Media с более чем десятилетним опытом создания материалов и анализа сложных тем. Его статьи и интервью с лидерами отрасли принесли ему признание как одному из ключевых технологических инфлюенсеров со стороны множества организаций. Под его руководством издания получили высокую оценку аналитических компаний за качество и эффективность. Свяжитесь с ним , , и/или .
Похожие материалы
Успех ИИ в разработке ПО и потребность в централизованном управлении
8 апреля 2026
Asylon и Thrive Logic приближают физический ИИ к безопасности на корпоративном периметре
7 апреля 2026
Boomi называет это «активацией данных» и говорит, что это недостающий шаг в каждом внедрении ИИ
7 апреля 2026
Именно отказ Anthropic вооружать ИИ и делает его нужным Великобритании
7 апреля 2026
Присоединяйтесь к нашему сообществу
Подпишитесь сейчас, чтобы получать весь наш премиум-контент и последние новости технологий прямо на вашу почту
Популярное
Стратегия бизнеса в сфере ИИ, Искусственный интеллект, Статьи, Финансовый ИИ, Мир работы
JPMorgan начинает отслеживать, как сотрудники используют ИИ на работе
5688 view(s)
ИИ в действии, Тенденции рынка ИИ, Искусственный интеллект, Главные новости, Отношения человека и ИИ, Внутри ИИ, ИИ в производстве и инженерии, Физический ИИ
Google официально выходит на рынок ИИ для промышленной робототехники — и на этот раз это серьёзно
4947 view(s)
ИИ и мы, Стратегия бизнеса в сфере ИИ, ИИ в действии, Статьи, Финансовый ИИ, Внутри ИИ, Мнение, Мир работы
Как ИИ улучшает управление корпоративным казначейством
4828 view(s)
ИИ и мы, Стратегия бизнеса в сфере ИИ, ИИ в действии, Тенденции рынка ИИ, Инжиниринг данных и MLOps, Главные новости, Статьи, Финансовый ИИ, Управление, регулирование и политика, Как это работает, Отношения человека и ИИ, Инфраструктура и оборудование, Внутри ИИ, ИИ в производстве и инженерии, ИИ в рознице и логистике, Мир работы
KPMG: внутри плейбука ИИ-агентов, который повышает маржу бизнеса
4385 view(s) Смотреть все 
Последние
7 апреля 2026
Boomi называет это «активацией данных» и говорит, что это недостающий шаг в каждом внедрении ИИ 
7 апреля 2026
Именно отказ Anthropic вооружать ИИ и делает его нужным Великобритании 
6 апреля 2026
Когда ИИ-агенты берут на себя больше задач, управление становится приоритетом 
Управление согласием на использование файлов cookie Мы используем такие технологии, как файлы cookie, для хранения и/или доступа к информации об устройстве. Мы делаем это, чтобы улучшить качество просмотра и показывать персонализированную рекламу. Согласие на использование этих технологий позволит нам обрабатывать данные, такие как поведение при просмотре или уникальные идентификаторы на этом сайте. Несогласие или отзыв согласия может негативно повлиять на некоторые функции и возможности. Функциональные Функциональные Всегда активно Техническое хранение или доступ строго необходимы для законной цели обеспечения использования конкретной услуги, явно запрошенной подписчиком или пользователем, либо исключительно для осуществления передачи сообщения по сети электронных коммуникаций. Предпочтения Предпочтения Техническое хранение или доступ необходимы для законной цели хранения предпочтений, которые не запрашиваются подписчиком или пользователем. Статистика Статистика Техническое хранение или доступ используется исключительно в статистических целях. Техническое хранение или доступ, используемые исключительно в анонимных статистических целях. Без повестки, добровольного соблюдения со стороны вашего интернет-провайдера или дополнительных записей от третьей стороны, информация, хранящаяся или полученная только для этой цели, обычно не может быть использована для вашей идентификации. Маркетинг Маркетинг Техническое хранение или доступ необходимы для создания профилей пользователей с целью отправки рекламы или отслеживания пользователя на одном веб-сайте либо на нескольких веб-сайтах в аналогичных маркетинговых целях.
- Управлять параметрами
- Управлять сервисами
- Управлять {vendor_count} поставщиками
- Подробнее об этих целях
Подписаться
Весь наш премиум-контент и последние новости технологий прямо на вашу почту
Материал — перевод статьи с английского.
Оригинал: Microsoft open-source toolkit secures AI agents at runtime