Microsoft подтвердила AI-worm, распространяющийся через Copilot и приложения Microsoft Office

Во вторник известный норвежский исследователь в области ИИ опубликовал детали об AI-worm, который вызывает проблемы в разных приложениях Microsoft, включая Word и Copilot.

Отчет от норвежского исследователя ИИ Хокона Мёлёя, который Microsoft теперь подтвердила, показал, что злоумышленник может скрыть инструкции в документе, который затем используется как исходный материал для Word-документов, созданных или отредактированных Copilot, например для финансового отчета. Эти вредоносные инструкции могут потенциально изменить цифры в создаваемом документе. Затем они копируются в новый документ, из-за чего он становится носителем атаки при использовании в другом рабочем процессе с участием Copilot.

Мёлёй отметил: «Насколько мне известно, это одна из первых публичных демонстраций самораспространения document-borne AI-worm через обычные рабочие процессы в массовом коммерческом офисном пакете».

Microsoft в четверг направила в CSOonline заявление по поводу выводов исследователя.

«Мы устранили проблемы, о которых сообщил исследователь, и благодарим его за работу с нами в рамках скоординированного раскрытия уязвимостей. Чтобы снизить риск этого класса, мы используем стратегию defense-in-depth с мерами защиты, которые блокируют вредоносные инструкции на нескольких этапах и помогают удерживать задачи в рамках запросов пользователя», — заявила Microsoft.

«Мы постоянно усиливаем эти механизмы по мере развития технологии и ландшафта угроз», — добавила компания. «Мы рекомендуем клиентам устанавливать последние обновления, использовать несколько уровней защиты, с осторожностью относиться к контенту из неизвестных источников и проверять AI-generated content перед использованием или публикацией».

Обход защит

Аман Махапатра, директор по стратегии в Tribeca Softtech, нью-йоркской технологической консалтинговой компании, изучил механизмы этой уязвимости и считает, что она намного опаснее, чем может показаться, потому что способна обойти почти все защитные механизмы, которые есть у предприятий сегодня.

«Это worm, самораспространяющийся шаблон malware, который использует Copilot как механизм передачи и легитимное корпоративное взаимодействие как канал доставки. Он обходит все традиционные средства защиты электронной почты, потому что документ не является вредоносным при доставке и становится вредоносным, когда Copilot его обрабатывает. Это значит, что он обходит DLP, потому что утечка происходит через собственную аутентифицированную сессию Copilot пользователя», — сказал Махапатра. «Затем он обходит endpoint protection, потому что никакой код не выполняется — AI service, который предприятие явно разрешило, просто следует инструкциям».

Он также отметил, что исследователи предупреждают об этом классе атак уже два года.

Участие Microsoft

Мёлёй сказал, что работает с Microsoft Security Response Center (MSRC) с 3 марта, и Microsoft впоследствии внедрила и распространила несколько небольших точечных mitigations, однако основная уязвимость все еще не исправлена.

Он сказал, что неохотно раскрывал активную уязвимость, но решил, что пришло время опубликовать результаты.

«Моя логика в том, что защитники не могут снизить риск, о котором не знают», — написал Мёлёй, — «а описанный здесь механизм распространения затрагивает обычные документные рабочие процессы, на которые многие организации уже полагаются».

В email-интервью Мёлёй отметил, что внесенные Microsoft изменения, тем не менее, полезны.

«Процесс скоординированного раскрытия показал, что mitigations могут заметно сократить продемонстрированную поверхность атаки, сделать атаки менее надежными и ограничить их охват, даже если основная проблема полностью не устранена», — сказал он.

Мёлёй также прокомментировал рекомендацию многих аналитиков и консультантов изменить природу LLM так, чтобы полностью изолировать инструкции от данных, с которыми они работают.

«Разделение инструкций и данных может быть частью решения, но, как мне кажется, в реальных рабочих процессах грань между данными и инструкциями не всегда ясна. Например, пользователь может попросить агента организовать командировку, и тогда агенту нужно будет получить письмо с утвержденным маршрутом и документ с процедурой бронирования», — сказал Мёлёй.

«По моему мнению, более широкая задача — не просто не допускать, чтобы системы воспринимали внешний контент как инструкции, а оценивать, соответствуют ли эти инструкции целям пользователя и контексту, в котором работает система», — добавил он.

Проблему трудно переоценить

Майк Уилкс, enterprise CISO в Aikido Security, сказал, что было бы трудно переоценить потенциальные последствия этой ситуации.

«Это серьезная проблема, потому что она переводит prompt injection из одной скомпрометированной интеракции в потенциально самораспространяющуюся атаку на целостность документов», — сказал он, отметив, что это не обычный worm, который распространяется автоматически. Пользователь или рабочий процесс Copilot все равно должен подать зараженный документ в контекст модели. «Но как только это происходит, вредоносные инструкции, как сообщается, могут изменить деловую информацию, скрыться внутри получившегося Word-документа и превратить легитимный внутренний файл в следующий носитель», — сказал он.

По его словам, это создает «опасную корпоративную supply chain, в которой финансовые отчеты, контракты, политики и партнерские документы могут унаследовать вредоносное поведение, сохраняя при этом доверие, связанное с их легитимными авторами и учетными записями Microsoft 365».

Проблема не новая

Ключевая проблема этой уязвимости заключается в том, что genAI плохо различает данные, которые пользователь передает как ввод, и инструкции, которые AI должен выполнить.

Флавио Вильянустре, CISO группы LexisNexis Risk Solutions, отметил, что та же проблема смешения данных и инструкций возникала в базах данных десятилетия назад и превратилась в то, что сегодня известно как SQL injection. Но несколько лет спустя для уровней доступа к базам данных были разработаны параметризованные binding-механизмы, которые отделяют инструкции, обрабатываемые внутри системы безопасно, от данных, которые могут поступать из ненадежных источников. «То же самое должно произойти с LLM и другим AI», — сказал он.

Майк Леоне, вице-президент и главный аналитик Moor Insights & Strategy, согласился.

«Трудно не усмехнуться. Люди спрашивают, могут ли данные отдавать приказы, еще со времен SQL injection. Мы решили ту проблему, научив базу данных отличать инструкцию от значения», — сказал Леоне. «Спустя 30 лет мы создали целую категорию software, которая вообще не умеет видеть разницу».

Том Финдлинг, CEO Conifers.ai, также сказал, что считает проблему различия данных и инструкций главной.

«Разделение данных и инструкций на уровне модели по-прежнему не решено. Лаборатории добиваются реального прогресса, но этого недостаточно, чтобы полагаться только на это», — сказал он и подчеркнул: «Microsoft не нужно ждать этого. Она может замедлить распространение внутри Copilot: не допускать запись скрытого контента в новые документы, показывать скрытый текст до его использования, сохранять уровень доверия к тому, что прочитал Copilot, и отображать все AI-generated changes».

Исправление требует согласия отрасли

Однако Фрэнк Диксон, вице-президент IDC по безопасности, утверждал, что исправление требует согласия отрасли.

«Фундаментальное исправление требует, чтобы отрасль пришла к одному и тому же архитектурному изменению, а это вряд ли произойдет в ближайшее время с учетом стимулов и того факта, что крупные игроки далеки от дружбы», — сказал он, указав, что separation of instructions and data нужно встраивать на уровне модели или платформы у каждого крупного вендора. «Никто сейчас не получает коммерческого вознаграждения за такую работу, так что относитесь к этому как к многолетней research problem, а не к тому, чего CISO должен ждать».

Леоне не согласился, утверждая, что и один вендор может сделать немало, по крайней мере для своих клиентов.

«Microsoft уже публично заявляла с прошлого года, что indirect prompt injection невозможно полностью предотвратить, и я отдаю им должное за то, что они говорят это вслух, а не делают вид, что все иначе», — сказал Леоне, отметив, что отрасли не обязательно двигаться синхронно. «Эта атака живет внутри одного продукта», — сказал он. «Если Microsoft укрепит путь документов в Copilot, клиенты Copilot станут в большей безопасности, даже если никто другой не сдвинется».

Диксон добавил, что еще одна критическая проблема этой уязвимости в том, что carrier documents создаются легитимными сотрудниками с помощью легитимных инструментов, «так что после того, как payload начинает двигаться, у него нет очевидной точки происхождения; организация может неделями отмывать искаженную финансовую отчетность через собственный workflow, прежде чем кто-то заметит».

Тактики, которые могут помочь

Тем не менее эксперты предложили несколько конкретных мер для CISO, пытающихся нейтрализовать эту проблему.

Диксон из IDC сказал, что «самый полезный рычаг сейчас находится вообще вне модели — в том, сколько недоверенного контента Copilot разрешено подтягивать в сессию без выбора человеком». Он отметил, что предприятия могут отключить или ограничить автопоиск Copilot и требовать, чтобы люди явно выбирали документы, которые подают ему. «Этого уже достаточно, чтобы закрыть один из двух путей, через которые атака закрепляется», — сказал он.

IDC также предложила показывать видимый diff или redline для всего, что Copilot меняет в финансовом или ином важном документе, и требовать, чтобы человек подтверждал изменения. «Это не техническое исправление, а рабочий процесс, и он доступен уже сегодня», — сказал Диксон.

Он добавил, что IT также должен отслеживать, откуда пришел контент и что именно было затронуто AI system, в метаданных, которые путешествуют вместе с документом. «Это не останавливает инъекцию, но если что-то все же пройдет, организация сможет проследить, насколько далеко это распространилось, вместо того чтобы через три отчета обнаружить искаженное число и не иметь возможности восстановить цепочку», — сказал он.

Однако один эксперт, Тайлер Регули, заместитель директора по security R&D в Fortra, сказал, что не видит в этой уязвимости значимого эффекта, потому что она выглядит как то, что он назвал «laboratory vulnerability».

Обычные enterprise workflows не включают ряд необходимых шагов для компрометации, сказал он, отметив, что людей, как правило, учат не скачивать Word-документы. Кроме того, судя по размытом примеру в отчете, вредоносный документ содержал дополнительную, внешне пустую страницу, на которой скрытые подсказки были написаны белым текстом.

«Если бы кто-то даже сумел убедить меня скачать внешний Word-документ, такая страница вызвала бы у меня тревогу», — сказал он. В итоге, по его словам, «для этого, похоже, нужен идеальный шторм».

Эта статья впервые появилась на CSOonline.

Материал — перевод статьи с английского.

Оригинал: Microsoft confirms an AI worm is propagating through Copilot and other MS apps