Пора прекращать AI-ботов для автоматических ответов клиентам

Автоматический чатбот, работавший для Anthropic, в этом месяце отверг отчет исследователя Wiz о уязвимости, заявив, что он «выходит за рамки модели угроз Claude Code». Для специалистов по безопасности Wiz это стало новостью.

Для руководителей Anthropic это тоже оказалось новостью, и их взгляд на ситуацию был совсем иным.

На деле Anthropic оказался лишь одной из многих жертв этой уязвимости — в их числе Amazon, Google и Cursor, а также другие. Но особенно абсурдно в этой истории то, что Anthropic не только обнаружила проблему раньше исследователей, но и успела закрыть ее до того, как те уведомили компанию.

Как это часто бывает с AI-ботами, бот не просто отклонил запрос. Он уверенно объяснил свои доводы, хотя они были неверными.

«Это выходит за рамки нашей текущей модели угроз», — сказал чатбот, согласно отчету Wiz. «Когда пользователь впервые запускает Claude Code в каталоге, он должен подтвердить, что доверяет этому каталогу, прежде чем начать сессию. Описанный вами сценарий подразумевает, что пользователь явно подтверждает запрос разрешения внутри каталога, содержащего вредоносный символический ссылочный файл, что выходит за рамки модели угроз Claude Code».

Исследователи добавили, что позже руководство Anthropic прояснило ситуацию: «Предупреждение о символической ссылке в диалоге разрешения Edit/Write было выпущено в v2.1.32 (5 февраля 2026 года), за девять дней до того, как этот отчет был отправлен нам. Оно было добавлено в рамках проактивного усиления безопасности на основе внутреннего обзора. Отказ от комментария был автоответом нашей системы triage».

Автоответом нашей системы triage? Сколько еще вымышленных ответов отправила эта система? И какой ущерб Anthropic тем самым подвергает себя?

Это проблема не только Anthropic. Случаев сбоев enterprise-ботов в коммуникации с клиентами было уже много. Вот несколько примеров:

• Боты, которые сами решили отменять клиентов. Это, кстати, тоже был инцидент Anthropic. В том случае бот Anthropic отменил AI-аккаунт швейцарской компании, которая зависела от сервиса. Пришлось привлекать юриста, и аккаунт восстановили в течение суток — но без 80% данных. Неловко.
• Бот Cursor решил разлогинивать клиентов при смене устройства, хотя не должен был этого делать. Затем бот разослал клиентам письмо и солгал, что «выход из системы был ожидаемым поведением в рамках новой политики входа». Материал Fortune описал, как «новость быстро разошлась по сообществу разработчиков, появились сообщения об отмене подписок пользователями, а некоторые жаловались на отсутствие прозрачности. Сооснователь Майкл Труэлл в итоге написал в Reddit, признав “неверный ответ от AI-бота первой линии поддержки”, и сообщил, что компания расследует баг, из-за которого пользователей разлогинивало. “Извините за путаницу”, — написал он».
• Избирателей на выборах в Шотландии обманули правительственные AI-боты, которые «по-разному выдумывали несуществующие скандалы, называли неверную дату выборов, ошибочно утверждали, что избирателям на выборах в Шотландии нужен ID на участках, и относили кандидатов к неправильным округам».
• И не стоит забывать классическую историю с ботом Air Canada, где «Air Canada обязали компенсировать клиенту ущерб после того, как ее чатбот предоставил неверную информацию о политике авиакомпании в отношении льготного тарифа на случай утраты близкого человека. Трибунал решил, что Air Canada несет ответственность за информацию, предоставленную через ее сайт, включая чатбот».

Скажем прямо: боты должны быть ограничены передачей только заранее утвержденных сценариев.

Generative AI дает чатботам гораздо более высокую степень сложности, но одновременно повышает риск гораздо более серьезных ошибок. Для любой бизнес-функции это неприемлемо. А когда приложение притворяется человеком — и общается с живыми клиентами — это еще менее допустимо.

Материал — перевод статьи с английского.

Оригинал: It’s past time to end AI-based automated customer responses