Гovernance AI agents: регуляторы указывают на пробелы в контроле и надзоре

Австралийский финансовый регулятор предупредил финансовые компании, что практики governance и assurance для AI agents остаются слабо выстроенными. Предупреждение прозвучало на фоне того, как банки и пенсионные фонды superannuation trustees расширяют использование AI во внутренних процессах и клиентских сервисах.

Australian Prudential Regulation Authority (APRA) сообщило, что в конце 2025 года провело целевой обзор ряда крупных регулируемых организаций, чтобы оценить внедрение AI и связанные с этим prudential risks. Регулятор установил, что AI использовался во всех проверенных компаниях, однако уровень зрелости различался по качеству управления рисками и операционной устойчивости. APRA отметило, что советы директоров проявляют высокий интерес к AI с точки зрения productivity и customer experience, но многие организации все еще выстраивают управление рисками AI.

Регулятор также выразил обеспокоенность тем, что советы директоров слишком сильно полагаются на презентации и сводки от поставщиков. По его словам, не всегда уделяется достаточно внимания таким рискам, как непредсказуемое поведение модели и влияние сбоев AI на критически важные операции.

APRA заявило, что советы директоров должны лучше понимать AI, чтобы выстраивать стратегию и надзор более последовательно. По мнению регулятора, AI strategy должна соответствовать risk appetite организации и включать мониторинг, а также заранее определенные процедуры на случай ошибок.

APRA отметило, что регулируемые организации тестируют или внедряют AI в software engineering, claims triage и обработке loan applications. Среди других упомянутых сценариев использования были противодействие fraud и scam disruption, а также взаимодействие с клиентами.

Часть организаций рассматривает риски AI так же, как риски других технологий, однако такой подход не учитывает поведение моделей и bias.

Регулятор выявил пробелы в мониторинге поведения моделей, change management и decommissioning, а также указал на необходимость inventories of AI tools и закрепления named-person ownership для AI instances. Кроме того, APRA подчеркнуло необходимость human involvement в высокорисковых решениях.

Отдельной темой стала cybersecurity. По словам APRA, внедрение AI меняет threat environment, добавляя новые пути атак, включая prompt injection и insecure integrations.

В ряде случаев практики identity and access management не были адаптированы к non-human elements, таким как AI agents. Рост объема AI-assisted software development также создает нагрузку на change and release controls.

APRA заявило, что организациям следует применять controls к agentic и autonomous workflows, включая privileged access management, configuration и patching. Регулятор также призвал проводить security testing AI-generated code.

Некоторые институции стали зависеть от одного поставщика в значительной части своих AI instances, отметило APRA, и лишь немногие смогли показать exit plan или substitution strategy для AI suppliers.

APRA добавило, что AI может присутствовать в upstream dependencies, о которых организации могут не знать.

Identity and access

Фокус на identity и permission controls также отражается в новой работе по стандартам, которую ведет FIDO Alliance. Группа создала Agentic Authentication Technical Working Group и разрабатывает specifications для agent-initiated commerce.

FIDO заявила, что некоторые существующие модели authentication и authorisation создавались для human interaction, а не для delegated actions, выполняемых software. По мнению организации, провайдерам сервисов нужны способы проверять, кто или что authorises actions и на каких условиях.

Вендоры уже представили FIDO свои решения на рассмотрение, включая Google’s Agent Payments Protocol и Mastercard’s Verifiable Intent framework. Centre for Internet Security, некоммерческая организация, в основном финансируемая Department for Homeland Security, опубликовал companion guides по безопасности AI, которые сопоставляют CIS Controls v8.1 с large language models, AI agents и средами Model Context Protocol.

Пособие по LLM охватывает вопросы prompt и sensitive data, а руководство по MCP сосредоточено на secure access для software tools, non-human identities и network interactions.

(Фото: julien Tromeur)

См. также: Google предупреждает: вредоносные веб-страницы отравляют AI agents

Хотите больше узнать об AI и big data от лидеров отрасли? Обратите внимание на AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это мероприятие входит в состав TechEx и проходит совместно с другими ведущими технологическими событиями, включая Cyber Security & Cloud Expo. Нажмите здесь для подробностей.

AI News работает на базе TechForge Media. Другие предстоящие мероприятия и вебинары для бизнеса и технологий можно найти здесь.

Материал — перевод статьи с английского.

Оригинал: AI agent governance takes focus as regulators flag control gaps