Исследование Cisco: ведущие AI-модели уязвимее к многошаговым prompt-атакам, чем заявляют вендоры
- Крупные разработчики AI-моделей опираются на неверные предположения о том, как действуют хакеры, заявили исследователи Cisco в отчете, опубликованном в среду.
- Вендоры AI считают, что их модели защищены от захвата, если могут отбить один вредоносный prompt за раз, но злоумышленники все чаще используют многошаговые prompt-атаки, чтобы обходить защиту моделей, и большинство моделей к таким атакам не готовы, сказали в Cisco.
- Новый отчет показывает в значительной степени недооцененную угрозу, скрытую внутри AI-моделей, которая может привести к широкому спектру сбоев и ущерба для компаний, использующих эти инструменты.
Dive Insight:
Оценка Cisco 15 ведущих AI-моделей от OpenAI, Anthropic, Google, Amazon и xAI “показала, что показатель успешности атаки в одном ходе (ASR) не является надежным прокси того, что происходит, когда атакующий может адаптироваться от хода к ходу”, написали исследователи Nicholas Conley и Amy Chang.
Их тесты показали, что AI-модели были гораздо более уязвимы к многошаговым вредоносным prompt-атакам: показатели успешности варьировались от 8% до 88% по сравнению с диапазоном от 2% до 65% для атак в один ход.
“Каждая протестированная нами модель демонстрировала ненулевой multi-turn ASR”, написали Conley и Chang.
Ранее эти два исследователя уже работали над отчетом за ноябрь 2025 года, который показал, что open-weight AI-модели были в два-десять раз более уязвимы к многошаговым атакам, чем к атакам в один ход.
“Картина, которую мы задокументировали в open-моделях, сохраняется и в закрытых”, — написали они в новом исследовании. “Ни одна закрытая frontier-модель в этой выборке не может считаться безопасной при итеративной атаке. Это утверждение относится к текущему состоянию закрытого frontier-сегмента, а не к какому-либо одному вендору”.
Одним из самых значимых выводов исследования стала корреляция между приоритетами AI-компаний и безопасностью их моделей. Conley и Chang обнаружили, что разработчики AI, которые публично делали акцент на росте возможностей своих моделей, выпускали модели с самым большим разрывом между уязвимостью к атакам в один ход и уязвимостью к многошаговым атакам. У разработчиков, чьи публичные заявления акцентировали безопасность моделей, этот разрыв был меньше, что, по мнению исследователей, указывает на более последовательную работу по снижению рисков.
Исследователи протестировали пять стратегий: ролевую игру, увод модели в сторону, декомпозицию информации, переформулирование отказов модели и постепенную эскалацию. Хуже всех показала себя модель xAI — Grok 4.1 Fast Non-Reasoning: исследователям удалось добиться успеха в 88% многошаговых атак. (В атаках в один ход они добились успеха в 34% случаев.)
Лучшая по результату модель, Amazon Nova 2 Lite, смогла устоять против 8% многошаговых атак, хотя исследователи отметили, что даже такой показатель “все равно отражает значимый остаточный риск”.
Conley и Chang отметили, что Grok 4.1 значительно лучше работала при включенном reasoning, и это, по их мнению, означает, что AI-вендоры должны “документировать влияющие на безопасность эффекты” конфигурационных решений, таких как режим reasoning.
OpenAI, Anthropic, Google, Amazon и xAI не сразу ответили на запросы о комментарии.
Вендорам необходимо пересмотреть подход к оценке безопасности AI-моделей, заявили исследователи, а компаниям нужно больше информации о потенциальных разрывах между устойчивостью моделей к атакам в один ход и к многошаговым атакам.
“Для бизнес-решений, принятых на основе опубликованных показателей для атак в один ход, это создает риск для безопасности и governance”, — написали Conley и Chang. “Модель с 2,74% single-turn ASR — это не тот же продукт, что модель, которая держит линию на уровне 24,68% multi-turn ASR. Без данных по обеим режимам эти две модели неотличимы в большинстве публичных оценок, а конечный пользователь никогда не видит этот разрыв”.
Материал — перевод статьи с английского.
Оригинал: Leading AI models are more vulnerable to malicious prompts than vendors claim