США, Австралия и союзники призвали к осторожному внедрению AI agents
Австралия и США вместе с другими международными партнерами в пятницу опубликовали рекомендации по безопасному развертыванию agentic AI-систем.
Автоматизация, которую дают AI agents, создает уникальные риски, способные привести к «снижению производительности, сбоям в работе сервисов, нарушениям конфиденциальности или инцидентам кибербезопасности», говорится в документе. «Организации должны заранее понимать, что может пойти не так, оценивать, как сценарии рисков agentic AI могут повлиять на операции, и обеспечивать постоянную видимость и уверенность, чтобы сохранять доверие к своим инвестициям в agentic AI».
Безопасное использование AI agents означает «никогда не предоставлять им широкий или неограниченный доступ, особенно к конфиденциальным данным или критически важным системам», предупреждает документ. Компаниям, как отмечается, «следует использовать agentic AI только для низкорисковых и несекретных задач».
Публикация, выпущенная совместно Australian Signals Directorate, американскими Cybersecurity and Infrastructure Security Agency и National Security Agency, а также их британскими, канадскими и новозеландскими коллегами, выходит на фоне того, как компании спешат встроить AI-инструменты в рабочие процессы и все активнее используют agentic AI из-за его способности автоматизировать повторяющиеся задачи.
Организациям, оценивающим agentic AI-инструменты, следует понимать весь спектр связанных с ними рисков, предупредили западные правительства в своем документе. AI agents — это сложные системы, чьи взаимосвязанные компоненты создают «системные риски», и они опираются на large language models и внешние источники данных, которые могут вносить собственные уязвимости, например злонамеренно сформированные результаты веб-поиска, открывающие возможности для prompt-injection-атак.
«Каждый отдельный компонент в agentic AI-системе расширяет поверхность атаки, открывая системе дополнительные пути эксплуатации», — говорится в документе.
Слабая зрелость стандартов безопасности AI и сложность применения моделей управления, ориентированных на человека, к автоматизированным технологиям также затрудняют защиту agentic AI-инструментов от саботажа или сбоев, говорится в публикации.
В документе описаны несколько рисков безопасности, специфичных для agentic AI, включая злоупотребление полномочиями, подмену идентичности, неожиданные действия и обман. Также перечислены риски, связанные с тем, как AI agents интегрируются с другими инструментами, включая ошибочные параметры оркестрации и скомпрометированные сторонние компоненты.
Следующий раздел рекомендует лучшие практики использования AI agents, включая жесткие ограничения на поведение, надежное управление идентичностью и четкое разделение обязанностей, чтобы предотвратить каскадные сбои. Бизнесу также следует регулярно оценивать своих агентов, говорится в документе, в том числе проводить red-teaming-упражнения и проверку сторонних компонентов.
Другие рекомендации касаются непрерывного мониторинга agentic AI-систем, проверки выходных данных агентов и одобрения человеком в цикле human-in-the-loop любых действий, «где цена ошибки высока, например при сбросе систем, сетевом egress или удалении критически важных записей».
«Надежное управление, явная ответственность, строгий мониторинг и человеческий контроль — это не необязательные меры защиты, а необходимые предпосылки», — предупреждает документ. «Пока практики безопасности, методы оценки и стандарты не созреют, организациям следует исходить из того, что agentic AI-системы могут вести себя непредсказуемо, и планировать развертывание соответствующим образом, отдавая приоритет устойчивости, обратимости и сдерживанию рисков, а не выигрышу в эффективности».
Материал — перевод статьи с английского.
Оригинал: US and allies urge ‘careful adoption’ of AI agents