Госведомство США начнет тестировать frontier AI-модели на безопасность до релиза

Соглашения CAISI с Google, Microsoft и xAI предшествовали сообщению о том, что Белый дом может готовить собственную систему проверки ИИ.

Credit: Andrey_Popov/Shutterstock

Центр по стандартам и инновациям в области ИИ (CAISI), подразделение Министерства торговли США, подписал соглашения с Google DeepMind, Microsoft и xAI, которые дадут ведомству возможность проверять ИИ-модели этих компаний и других организаций до их публичного выпуска.

Согласно сообщению CAISI, который входит в Национальный институт стандартов и технологий министерства (NIST), ведомство будет «проводить оценки перед внедрением и целевые исследования, чтобы лучше оценивать возможности frontier AI и продвигать уровень безопасности ИИ».

К этим компаниям присоединились Anthropic и OpenAI, которые почти два года назад, при администрации Байдена, подписали аналогичные соглашения, когда CAISI назывался US Artificial Intelligence Safety Institute.

В сообщении от августа 2024 года по этим соглашениям говорилось, что институт планировал давать обеим компаниям обратную связь по «возможным улучшениям безопасности их моделей, в тесном сотрудничестве с партнерами в UK AI Safety Institute (AISI)».

Microsoft во вторник заявила в блоге, посвященном новому соглашению, что такие инициативы и им подобные необходимы для формирования доверия и уверенности в продвинутых ИИ-системах. По мере развития возможностей ИИ, как отметила компания, должна расти и строгость тестирования, а также защитных мер, на которых эти системы основаны.

Переход к проактивной безопасности

Фриц Жан-Луи, ведущий консультант по кибербезопасности в Info-Tech Research Group, заявил, что соглашения CAISI указывают на переход к проактивной безопасности для agentic AI, поскольку они позволяют проводить государственное тестирование продвинутых моделей до и после внедрения.

По его словам, это должно «помочь лучше видеть автономное поведение и одновременно ускорить разработку стандартов для снижения рисков. За счет раннего доступа, непрерывной оценки и межотраслевого сотрудничества инициатива подталкивает отрасль к security-by-design для все более автономных ИИ-систем».

Однако, добавил Жан-Луи, «есть несколько потенциальных препятствий, которые стоит учитывать, например: как в рамках такого подхода будет защищаться интеллектуальная собственность? Тем не менее я считаю это позитивным шагом для отрасли».

Исполнительный указ «формируется»

После заявления CAISI опубликованный в среду материал указал, что Белый дом близок к подготовке исполнительного указа о создании системы проверки всех новых моделей искусственного интеллекта, прежде всего Anthropic Mythos.

Bloomberg сообщил, что «директива формируется спустя несколько недель после того, как Anthropic раскрыла, что ее прорывная модель Mythos умеет находить уязвимости в сетях и может представлять глобальный риск для кибербезопасности».

Значительное изменение курса политики

Это не случайность, сказал он, «что объявления последовали одно за другим, и это усиливает растущую срочность для правительств в США и других странах в укреплении партнерств с ключевыми поставщиками ИИ, чтобы максимизировать безопасность, связанную с ИИ, и минимизировать потенциальный системный риск».

Последний всплеск активности Вашингтона, по его словам, означает заметный сдвиг в политическом курсе по сравнению с администрацией, которая до недавнего времени придерживалась более laissez-faire подхода к регулированию.

Опасения вокруг модели Anthropic Claude Mythos и относительная легкость, с которой она может находить и использовать уязвимости в цифровых системах, «могли помочь изменить позицию федерального правительства по регулированию ИИ, особенно в части возобновленного стремления вводить стандарты для внедрений ИИ в правительственной инфраструктуре», сказал он.

Поставщикам ИИ вроде Google, Microsoft и xAI, добавил Леви, «приходится идти по политическому канату, балансируя между необходимостью своевременно и экономично выводить модели на рынок и все более четко определяемыми правилами в сфере кибербезопасности и безопасности ИИ. Отрасль не может позволить себе сценарий, при котором правила придумывают сами поставщики по мере движения вперед».

При этом, отметил он, недавнее противостояние между Anthropic и Пентагоном показывает, почему поставщиков можно понять, если они с определенной осторожностью воспринимают растущий интерес федерального правительства к тестированию и регулированию ИИ.

По словам Леви, «хотя усилия администрации по централизации тестирования и надзора должны упростить вывод продуктов на рынок для поставщиков и ускорить разработку best practices для frontier model development, политический подтекст последних партнерств между государством и бизнесом игнорировать нельзя».

Материал — перевод статьи с английского.

Оригинал: US government agency to safety test frontier AI models before release