Формат: Разбор
Коротко
Это перевод и адаптация материала на основе английской статьи AI News. В ней разбирается, почему по мере того как AI-агенты получают больше автономии, компаниям приходится выстраивать governance — правила доступа, контроля и мониторинга их действий.
Ключевые тезисы
- AI-агенты уже не просто отвечают на запросы, а могут планировать шаги, принимать решения и выполнять действия с минимальным участием человека.
- Главный риск — автономные системы могут действовать не так, как ожидалось, использовать данные не по назначению и усложнять поиск ответственных.
- Гovernance нужно закладывать на всех этапах: от проектирования и внедрения до постоянного мониторинга после запуска.
- Исследование Deloitte показывает разрыв между внедрением AI-агентов и уровнем защиты: 23% компаний уже используют их, а сильные safeguards есть лишь у 21%.
- Подход Deloitte делает акцент на логировании действий, прозрачности, управлении доступом и мониторинге в реальном времени.
Детали
Это перевод и адаптация материала AI News на английском языке.
Искусственный интеллект выходит за рамки простых ответов на запросы. Во многих организациях AI-агенты уже тестируются для планирования задач, принятия решений и выполнения действий при ограниченном участии человека.
Теперь вопрос заключается не только в том, правильно ли модель отвечает. Важно и то, что происходит, когда системе разрешают действовать самостоятельно.
Автономным системам нужны четкие границы. Им требуются правила, определяющие, к каким данным и сервисам они могут обращаться, что им разрешено делать и как фиксируются их действия. Без таких механизмов даже хорошо обученная система может создать проблему, которую сложно заметить или быстро исправить.
Одной из компаний, работающих с этой темой, является Deloitte. Фирма разрабатывает рамки governance и консультационные подходы, которые помогают организациям управлять AI-системами.
Большинство ИИ-систем, используемых сегодня, по-прежнему зависят от человеческих запросов. Они генерируют текст, анализируют данные или делают прогнозы, но следующий шаг обычно определяет человек. Agentic AI меняет этот сценарий: такие системы способны разбивать цель на этапы, выбирать действия и взаимодействовать с другими системами, чтобы выполнить задачу.
Эта дополнительная самостоятельность создает новые риски. Когда система действует сама, она может пойти по пути, который никто не ожидал, или использовать данные не так, как планировалось.
Deloitte фокусируется на том, чтобы помочь организациям подготовиться к таким рискам. Вместо того чтобы рассматривать ИИ как отдельный инструмент, компания анализирует, как он встроен в бизнес-процессы — в том числе в то, как принимаются решения и как между системами движутся данные.
Governance нужно закладывать с самого начала
Governance не стоит добавлять уже после внедрения. Он должен быть частью всего жизненного цикла AI-системы.
На этапе проектирования организации должны определить, что именно системе разрешено делать и где проходят ее границы. Это может включать правила использования данных и описание того, как система должна вести себя в неопределенных ситуациях.
На этапе внедрения governance сосредоточен на доступе и контроле: кто может использовать систему и с чем она может подключаться. После запуска главным становится мониторинг. Автономные системы могут меняться по мере работы с новыми данными, и без регулярных проверок они способны отклониться от исходной цели.
По мере роста роли ИИ становится сложнее проследить, как именно принимаются решения. Это усиливает запрос на прозрачность. В Deloitte подчеркивают важность отслеживания работы систем, включая логирование действий и документирование решений. Эти записи помогают понять, что произошло, если что-то пошло не так. Если автономная система совершила действие, должна быть ясность и по поводу ответственности.
По данным Deloitte, внедрение AI-агентов идет быстрее, чем развитие контроля над ними. Около 23% компаний уже используют такие системы, и ожидается, что через два года этот показатель вырастет до 74%. При этом только 21% компаний говорят, что у них есть надежные safeguards для наблюдения за поведением агентов.
Когда автономная система уже работает, внимание смещается на ее поведение в реальных условиях. Статических правил не всегда достаточно, поэтому за системами нужно наблюдать в процессе работы.
Подход Deloitte включает мониторинг в реальном времени, чтобы организации могли видеть, что делает ИИ во время выполнения задач. Если система ведет себя неожиданно, команды могут быстро вмешаться — например, приостановить отдельные действия или изменить разрешения. Такой надзор также помогает с соблюдением требований. В регулируемых отраслях компаниям нужно показывать, что системы следуют правилам и стандартам.
Как это работает на практике
На практике подобные механизмы уже начинают появляться в операционной среде. Deloitte приводит сценарии, в которых AI-системы отслеживают работу оборудования на разных площадках. Данные с датчиков могут указывать на ранние признаки поломки и запускать процессы техобслуживания с обновлением внутренних систем.
Фреймворки governance определяют, какие действия система может выполнять, когда требуется согласование человеком и как фиксируются решения. Процесс проходит через несколько систем, но для пользователя выглядит как одно целое действие.
Governance также обсуждается в рамках AI & Big Data Expo North America 2026, которая пройдет 18–19 мая в Санта-Кларе, Калифорния. Deloitte указана среди Diamond Sponsor мероприятия, а сама тема контроля над автономными системами становится частью более широкого разговора о том, как такие решения внедрять и управлять ими на практике.
Главная задача сегодня — не просто создавать более умные системы, а обеспечивать их предсказуемость, управляемость и доверие к ним на длительной дистанции.
Оригинал на английском: As AI agents take on more tasks, governance becomes a priority
Telegram-канал: https://t.me/no_glam_AI