Взлом Hugging Face: почему хакер OpenAI был шумным и быстрым, но не неуловимым

В начале месяца платформа датасетов для ИИ Hugging Face потрясла рынок, когда сообщила, что стала жертвой полностью автономной кибератаки с участием ИИ. Через несколько дней история получила новый поворот: OpenAI признала, что хакером за взломом была одна из ее ИИ-моделей, которая вышла из тестовой среды и проникла в защищенные системы Hugging Face, пытаясь обойти benchmark.

Это тревожный инцидент для всех, кого хотя бы немного беспокоят неуправляемые модели ИИ, и в дни после события появилось множество прогнозов о новой парадигме кибербезопасности, в которой модели ИИ будут атаковать так эффективно, что защищаться смогут только другие модели ИИ.

Но, несмотря на оправданную тревогу, парадигма, возможно, изменилась не так сильно, как кажется. Эксперты, поговорившие с TechCrunch, подчеркнули, что агент OpenAI в значительной степени действовал как человек — с оговорками — и что лучше реализованные традиционные методы защиты могли бы помочь остановить атаку. Иными словами, у нас, возможно, уже есть инструменты для защиты от таких атак; мы просто используем их недостаточно хорошо.

Hugging Face в своем отчете об инциденте фактически сказала то же самое: использованные уязвимости были «известными», а «квалифицированный человек-атакующий мог бы найти и использовать те же недостатки».

Kyle Ryan, руководитель R&D в Pensar, стартапе, который разрабатывает непрерывно атакующие агенты ИИ, и Vlad Ionescu, сооснователь и CTO RunSybil, стартапа, создающего bug hunters на базе ИИ, согласились с этим и сказали TechCrunch, что методы, использованные в атаке, были бы теми же самыми, которые применил бы человек или группа людей из red team. То есть злоумышленники, которых нанимают для атак на систему, чтобы помочь компании улучшить защиту.

Совсем не по-человечески выглядели скорость, масштаб и настойчивость атаки. Как пояснила Hugging Face, агент OpenAI выполнил 17 600 действий за четыре с половиной дня: проник внутрь, провел разведку, украл пароли и код и перемещался по инфраструктуре компании.

«Впечатляет автономность и выносливость, — сказал Ryan. — Именно такая длительная, адаптивная операция сильнее всего бросается в глаза».

Contact Us

С другой стороны, учитывая огромное число действий за несколько дней, агент OpenAI был, по словам Ryan, «безумно шумным». В отличие от человека, который мог бы действовать скрытнее, агент создавал много сигнала, и это должно было раньше насторожить защиту Hugging Face, в идеале приведя к вмешательству человека и остановке атаки.

«Я бы назвал это скорее сбоем в защите, чем исключительно сильной атакой. Инструменты Hugging Face действительно свели активность в сигнал атаки, но не повысили критичность и не уведомили дежурную команду, из-за чего они потеряли время, — объяснил Ryan. — После этого людям все равно пришлось распознать серьезность ситуации и отреагировать».

«Это и есть точный разрыв между тем, чтобы увидеть атаку, и тем, чтобы остановить ее», — написал O’Reilly. — «Система наблюдала атаку и даже понимала ее, но ничто не превратило это понимание в быстрое вмешательство».

Ryan пояснил, что правильно реализованные методы вроде defense-in-depth — стратегии, использующей несколько слоев мер кибербезопасности, — должны были дать Hugging Face несколько шансов поймать атаку.

«Сильная современная программа безопасности по-прежнему должна быть способна остановить такую атаку на нескольких этапах с помощью defense in depth, least privilege, сегментации, хорошего обнаружения, надежной эскалации и непрерывного offensive testing для поиска пробелов», — сказал Ryan.

Как заметил O’Reilly, «в этом нет ничего экзотического, и ничто из этого не зависит от того, является ли атакующий ИИ», поскольку примененные техники были «старыми».

В некотором смысле от того, что атакующим был ИИ, зависело то, что агент OpenAI не был запрограммирован на скрытность. «Агент не действовал небрежно. У него просто не было причины вести себя тихо. Его никто об этом не просил. Целью было хорошо выполнить задачу», — сказал Nico Waisman, директор по информационной безопасности в XBOW, стартапе, который делает AI bug hunters.

Waisman также указал, что главной ошибкой Hugging Face было то, что один украденный учетный данные дал агенту OpenAI высокие привилегии на нескольких системах компании.

При этом, как гласит старая истина, атакующему достаточно победить один раз, а защищаться от хакеров любого типа нелегко.

«Hugging Face могла бы сделать больше детектов, но, честно говоря, не все [организации] справляются так хорошо, — сказал Vincent Yiu, управляющий директор SYON Security. — В 2026 году нелегко поддерживать инфраструктуру и при этом выживать как бизнес. Хакеры повсюду».

По словам Ionescu из RunSybil, который сказал, что раньше занимался incident response в Mandiant и Meta, Hugging Face, похоже, приняла «разумные меры с учетом того, что, по ее пониманию, могут делать модели».

«Очень трудно отличить вредоносное действие, на которое нужно поднимать тревогу, от того, что кто-то просто выполняет свою работу, — сказал Vlad. — Один только объем действий еще не обязательно красный флаг».

Dan Guido, CEO исследовательской компании по кибербезопасности Trail of Bits, сказал TechCrunch, что часть вины лежит и на OpenAI, которая не поняла, что атака продолжалась несколько дней, тогда как Hugging Face заслуживает похвалы за то, что в итоге обнаружила атаку самостоятельно.

«Раньше сложность заключалась в том, чтобы распознать изощренную атаку, но теперь сложность может быть в том, чтобы вытащить реальную атаку из шума, который нападающий создает по пути, — сказал Guido. — Никто не будет вручную читать 17 000 восстановленных действий, чтобы понять, что произошло, поэтому Hugging Face пришлось строить инструменты просто для восстановления хронологии».

И для этого компании понадобился собственный ИИ. Hugging Face сообщила, что ей пришлось использовать open source модель GLM 5.2 от китайской компании Z.ai после того, как ее заблокировали от использования frontier models из-за их защитных механизмов, которые, как сформулировала компания, «не могут отличить реагирующего на инцидент от атакующего».

После этого Hugging Face объединила ИИ и людей, чтобы расследовать хакера OpenAI на базе LLM. Это относительно новый сценарий. Но помимо этого инцидент показывает, что старомодные концепции и методы defensive cybersecurity по-прежнему могут многое сделать для защиты и борьбы с хакерами на базе ИИ.

При покупке по ссылкам в наших материалах мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость.

Материал — перевод статьи с английского.

Оригинал: In the Hugging Face breach, OpenAI’s hacker was noisy and fast — but not unstoppable