«Червь» Copilot может распространяться через документы Microsoft Word

По словам известного норвежского исследователя ИИ, через документы Microsoft Word может распространяться «червь ИИ», используя Copilot как вектор.

Отчет Хокона Мёлёя, позднее подтвержденный Microsoft, показал, что злоумышленник может скрыть инструкции в документе, который затем используется как исходный материал для Word-документов, созданных или отредактированных Copilot. Например, это может быть входной файл для финансового отчета. Такие вредоносные инструкции способны изменить цифры в создаваемом документе. Затем они копируются в новый файл, и тот становится носителем атаки в другом рабочем процессе с Copilot.

Мёлёй отметил: «Насколько мне известно, это одна из первых публичных демонстраций самораспространения документного AI-червя через обычные рабочие процессы в коммерческом офисном пакете массового рынка».

В четверг Microsoft направила CSOonline заявление о результатах исследования.

«Мы устранили найденные исследователем проблемы и благодарим его за работу в рамках координированного раскрытия уязвимости. Для решения этого класса риска мы используем многоуровневую защиту, которая блокирует вредоносные инструкции на нескольких этапах и помогает удерживать задачи в рамках запросов пользователей», — заявила Microsoft.

«Мы постоянно усиливаем эти механизмы защиты по мере развития технологии и угроз», — добавила компания. «Мы рекомендуем клиентам устанавливать последние обновления, использовать несколько уровней средств защиты, осторожно относиться к контенту из неизвестных источников и проверять сгенерированный ИИ контент перед использованием или распространением».

Обходит средства защиты

Аман Махапатра, директор по стратегии в Tribeca Softtech, технологической консалтинговой компании из Нью-Йорка, изучил механизмы этой уязвимости и считает, что она гораздо серьезнее, чем кажется, потому что обходит почти все защитные механизмы, которые есть у предприятий сегодня.

«Это червь, самораспространяющийся шаблон вредоносного ПО, который использует Copilot как механизм передачи, а законное корпоративное взаимодействие — как канал доставки. Он обходит все традиционные средства защиты электронной почты, потому что документ не выглядит вредоносным при доставке и становится вредоносным, когда Copilot его обрабатывает. Это означает, что он обходит DLP, поскольку утечка происходит через собственную аутентифицированную сессию Copilot пользователя», — сказал Махапатра. «Затем он обходит защиту конечных устройств, потому что код не выполняется: AI-сервис, который предприятие явно разрешило, просто следует инструкциям».

Он также отметил, что исследователи предупреждают об этом классе атак уже два года.

Участие Microsoft

Мёлёй сообщил, что работает с Microsoft Security Response Center (MSRC) с 3 марта и что Microsoft впоследствии внедрила и распространила несколько небольших точечных мер смягчения риска, однако основная уязвимость все еще не исправлена.

Он сказал, что не хотел раскрывать активную уязвимость, но решил, что сейчас пришло время опубликовать материал.

«Моя логика в том, что защитники не могут снизить риск, о котором не знают», — написал Мёлёй, — «а описанный здесь механизм распространения затрагивает обычные документные рабочие процессы, на которые уже полагаются многие организации».

В интервью по электронной почте Мёлёй отметил, что внесенные Microsoft изменения все же были полезны.

«Процесс координированного раскрытия показал, что меры смягчения могут существенно сократить продемонстрированную поверхность атаки, делая атаки менее надежными и ограничивая их масштаб, даже если основная проблема полностью не устранена», — сказал он.

Мёлёй также прокомментировал решение, которое предлагали многие аналитики и консультанты: изменить природу LLM так, чтобы полностью изолировать инструкции от данных, с которыми они работают.

«Разделение инструкций и данных может быть частью решения, но, думаю, различие между данными и инструкциями в реальных рабочих процессах не всегда очевидно. Например, пользователь может попросить агента организовать деловую поездку, и агенту придется извлечь письмо с утвержденным маршрутом и документ с процедурой бронирования», — сказал Мёлёй.

«На мой взгляд, более широкий вызов состоит не просто в том, чтобы не допускать интерпретации внешнего контента как инструкций, а в том, чтобы оценивать, соответствуют ли эти инструкции целям пользователя и контексту, в котором работает система», — добавил он.

Проблему трудно переоценить

Майк Уилкс, enterprise CISO в Aikido Security, сказал, что потенциальные проблемы этой ситуации трудно переоценить.

«Это серьезная проблема, потому что она переносит prompt injection из одной скомпрометированной интеракции в потенциально самораспространяющуюся атаку на целостность документов», — сказал он, отметив, что это не обычный червь, который распространяется автоматически. Пользователь или рабочий процесс Copilot все равно должен поместить зараженный документ в контекст модели. «Но после этого вредоносные инструкции, как сообщается, могут изменить бизнес-информацию, скрыться внутри результирующего Word-документа и превратить обычный внутренний файл в следующий носитель», — сказал он.

По его словам, это создает «опасную цепочку поставок внутри предприятия, в которой финансовые отчеты, контракты, политики и документы партнеров могут унаследовать вредоносное поведение, сохраняя доверие, связанное с их легитимными авторами и учетными записями Microsoft 365».

Проблема не новая

Ключевая проблема этой уязвимости в том, что genAI обычно с трудом различает данные, которые пользователь передает как ввод, и инструкции, которые ИИ должен выполнять.

Флавио Вилланустре, CISO группы LexisNexis Risk Solutions Group, отметил, что та же проблема смешения данных и инструкций возникала в базах данных десятилетия назад и привела к тому, что теперь известно как атаки SQL injection. Но несколько лет спустя для уровней доступа к базам данных были разработаны параметризованные привязки, которые разделяют инструкции, обрабатываемые внутри системы и безопасно, и данные, которые могут поступать из ненадежных источников. «То же самое должно произойти с LLM и другим ИИ», — сказал он.

Майк Леоне, вице-президент и главный аналитик Moor Insights & Strategy, согласился.

«Трудно не усмехнуться, глядя на это. С момента появления SQL injection люди задаются вопросом, могут ли данные отдавать команды. Мы решили ту проблему, дав базе данных способ отличать инструкцию от значения», — сказал Леоне. «Тридцать лет спустя мы построили целую категорию программного обеспечения, которое вообще не умеет различать это».

Том Финдлинг, CEO Conifers.ai, тоже считает проблему данных и инструкций главной.

«Разделение данных и инструкций на уровне модели по-прежнему не решено. Лаборатории добиваются реального прогресса, но его недостаточно, чтобы полагаться только на него», — сказал он и подчеркнул: «Microsoft не нужно ждать этого. Она может замедлить распространение внутри Copilot: не позволять скрытому содержимому записываться в новые документы, показывать скрытый текст до его использования, сохранять уровень доверия к тому, что прочитал Copilot, и показывать все изменения, сгенерированные ИИ».

Исправление требует отраслевого согласия

Однако Фрэнк Диксон, вице-президент по безопасности в IDC, заявил, что для исправления нужен консенсус отрасли.

«Фундаментальное исправление требует, чтобы отрасль пришла к одному и тому же архитектурному изменению, а это не случится в ближайшее время с учетом стимулов и того факта, что крупные игроки далеки от дружбы», — сказал он, отметив, что разделение инструкций и данных должно быть встроено на уровне модели или платформы у каждого крупного поставщика. «Сейчас никто коммерчески не вознаграждает такую работу, так что воспринимайте это как многолетнюю исследовательскую задачу, а не как то, чего CISO должен ждать».

Леоне не согласился, утверждая, что один поставщик может сделать довольно много, по крайней мере для собственных клиентов.

«Microsoft публично заявляла еще с прошлого года, что indirect prompt injection нельзя полностью предотвратить, и я отдаю должное тому, что это было сказано прямо, а не замалчивается», — сказал Леоне, добавив, что отрасли не обязательно двигаться в ногу. «Эта атака живет внутри одного продукта», — сказал он. «Если Microsoft усилит путь работы с документами в Copilot, клиентам Copilot станет безопаснее независимо от действий остальных».

Диксон добавил, что еще одна критическая проблема этой уязвимости в том, что документы-носители создаются легитимными сотрудниками с помощью легитимных инструментов, «так что после того, как полезная нагрузка начинает перемещаться, очевидного источника нет; организация может неделями отмывать искаженные финансовые цифры через собственный рабочий процесс, прежде чем кто-либо заметит».

Тактики, которые могут помочь

При этом эксперты предложили несколько конкретных мер для CISO, которые пытаются нейтрализовать эту проблему.

Диксон из IDC сказал, что «самый полезный рычаг сейчас находится вообще вне модели — в том, сколько недоверенного контента Copilot позволяет втянуть в сеанс без выбора человеком». Он отметил, что компании могут отключить или ограничить поведение Copilot по автоматическому поиску документов и требовать, чтобы люди явно выбирали документы, которые ему передают. «Это уже само по себе закрывает один из двух путей закрепления атаки», — сказал он.

IDC также предложила показывать видимый diff или redline для всего, что Copilot меняет в финансовом или ином значимом документе, а также требовать, чтобы человек утверждал изменения. «Это не техническое исправление, а исправление рабочего процесса, и оно доступно уже сегодня», — сказал Диксон.

Он добавил, что ИТ также следует отслеживать, откуда пришел контент и что было затронуто AI-системой, в метаданных, которые сопровождают документ. «Это не остановит инъекцию, но если что-то все же пройдет, организация сможет реально отследить, насколько далеко это распространилось, вместо того чтобы спустя три отчета обнаружить искаженное число без возможности восстановить цепочку», — сказал он.

Однако один эксперт, Тайлер Регули, заместитель директора по security R&D в Fortra, заявил, что не видит у этой уязвимости значимого влияния, потому что она больше похожа на то, что он назвал «лабораторной уязвимостью».

Обычные корпоративные рабочие процессы не включают ряд необходимых шагов для компрометации, сказал он, подчеркнув, что людей, наоборот, учат не скачивать Word-документы. Кроме того, по его словам, если посмотреть на размытый пример в отчете, вредоносный документ содержал дополнительную, на первый взгляд пустую страницу, где скрытые подсказки были написаны белым текстом.

«Такая страница сразу вызовет у меня тревогу, если даже кто-то сумел бы убедить меня скачать внешний Word-документ», — сказал он. В целом, по его мнению, «для этого нужен идеальный шторм».

Этот материал впервые появился на CSOonline.

Материал — перевод статьи с английского.

Оригинал: Copilot worm can spread through Microsoft Word docs