Предприятия рискуют провалом агентного ИИ из-за универсального подхода к governance
Единая стратегия governance для всех AI-агентов повышает вероятность провала проектов в enterprise-среде, показало исследование Gartner. Компания прогнозирует, что к 2027 году 40% компаний отключат агентов, потому что команды не разделили способность агента действовать и объем доступа, который ему выдали.
Многие команды сталкиваются с тем, что при масштабировании инструмента или переводе его в production он получает возможность делать то, чего делать не должен, сказал CIO Dive старший директор-аналитик Gartner Шива Варма. «У многих организаций нет вообще никакого AI governance, никакого agent governance или же есть очень общий, шаблонный подход к такому управлению», — отметил он.
Пропорциональный подход к governance, при котором разным агентам назначают разные уровни полномочий и автономности, помогает компаниям избежать таких сбоев, выяснила Gartner.
Dive Insight:
Почти сразу после того, как предприятия начали массово внедрять AI-инструменты, компаниям пришлось выстраивать человеческий контроль и политики governance для автономных агентов, имеющих доступ к чувствительной информации. Поставщики ИИ тоже начали активно добавлять функции governance для быстро разворачивающихся agentic workflows.
Многие компании подходят к governance AI-агентов бинарно: либо полный контроль, либо полное доверие, сказал Шива Варма, старший директор-аналитик Gartner. Когда ко всем агентам применяются одни и те же правила, организации либо чрезмерно ограничивают простые агенты, что замедляет поставку и подталкивает к shadow development, либо недостаточно ограничивают автономных агентов, что усиливает риски безопасности, отметил он.
Gartner предлагает пропорциональный подход к governance с четырьмя уровнями автономности и границ — observe, advise, act with approval и act autonomously — в зависимости от роли агента. Агентам, которые в основном читают или суммируют документ, могут потребоваться только базовые меры контроля, например ограниченный доступ к данным или аутентификация пользователя, сказал Варма.
Но агентам, которые используются для рекомендаций или выдачи советов с последующей проверкой человеком, нужен более высокий уровень надзора: проверка качества вывода, тестирование на hallucination и обучение пользователей тому, насколько можно полагаться на результат.
Агенты, которые могут выполнять действия после одобрения, например отправлять сообщения или изменять конфигурации, требуют «meaningful control», сказал Варма.
Агенты, которые действуют автономно и самостоятельно выполняют задачи, нуждаются в самых жестких guardrails, заявила Gartner.
«Именно тогда нужно быть очень, очень точными и осторожными в том, как вы настраиваете свои guardrails, и убедиться, что у вас есть также человеческая выборочная проверка», — сказал Варма.
Хотя 80% технологических лидеров, недавно опрошенных Solvd, заявили, что чувствуют давление, заставляющее AI-проекты работать, предприятия с эффективными guardrails обычно выстраивают работу через кросс-функциональные команды, включая техсостав C-suite, инженеров, бизнес и юридические команды, сказал Варма.
«[Governance] не должен находиться в руках одного человека — это уже отказной сценарий», — сказал он. «Смысл в том, что это общая, воспроизводимая классификация. Это не директива сверху вниз от одного руководителя».
Материал — перевод статьи с английского.
Оригинал: Enterprises risk agentic AI failure under ‘one-size-fits-all’ governance