Anthropic отвергает запрет open-weight моделей ИИ и предлагает контроль чипов для Китая и safety tests

Генеральный директор Anthropic Дарио Амодеи заявил, что регуляторы должны сохранить доступ к менее рискованным open-weight моделям ИИ, одновременно усилив защитные меры для frontier-систем, включая обязательные safety tests и ограничения на доступ Китая к передовым вычислительным ресурсам и возможностям моделей.

В посте, где изложена позиция Anthropic, Амодеи сказал, что широкие ограничения, включая запрет на китайские open-weight модели, которые используют бизнесы в США, не решат его основные опасения в области национальной безопасности. Вместо этого он указал на риск того, что авторитарные правительства могут опередить США в развитом ИИ, а также на кибер-, биологические и alignment risks, которые несут все более мощные системы.

Амодеи также призвал принять меры против industrial-scale model distillation, которое, по его словам, позволяет китайским разработчикам улучшать свои модели с меньшими вычислительными затратами, чем потребовались бы для обучения сопоставимых систем с нуля.

Заявление последовало за критикой Anthropic за отказ подписать отраслевое письмо, поддержанное Nvidia, Microsoft, Meta, IBM, Mistral, Hugging Face и другими технологическими компаниями, которые призывали регуляторов не вводить преждевременные ограничения на open-weight models.

В письме говорилось, что open weights могут расширить доступ к ИИ, усилить конкуренцию и позволить организациям адаптировать и развертывать модели без зависимости от одного поставщика. Амодеи согласился с частью этих аргументов, но не согласился с утверждением, что открытость сама по себе улучшает исследования безопасности или дает защитникам преимущество над атакующими.

Он сказал, что регулирование должно опираться на возможности модели и связанные с ней риски, а не на то, открыты ли ее веса. При таком подходе достаточно мощные open и closed models проходили бы testing before release.

Условная поддержка

Аналитики отметили, что Anthropic стала ближе к отраслевому консенсусу, отвергнув общий запрет, но ее поддержка open-weight подхода по-прежнему ограниченнее, чем у многих крупных технологических компаний.

Deepika Giri, руководитель исследований по ИИ, аналитике и данным в IDC, сказала, что письмо при поддержке Nvidia представляло open weights как стратегическую инфраструктуру, которая должна оставаться широко доступной, в отличие от более ограничительной позиции Anthropic.

По словам Lian Jye Su, главного аналитика Omdia, заявление Амодеи прояснило, что Anthropic поддерживает open-weight models только при определенных условиях. Такая позиция также может помочь компании сохранить конкурентные преимущества как провайдера проприетарных моделей, ориентированного на compliance и более жесткий контроль.

Это заявление стало «настоящей оливковой ветвью» для сторонников open-weight models, сказал Pareekh Jain, CEO Pareekh Consulting. Однако, по его словам, спор сместился с вопроса о том, следует ли вообще выпускать такие модели, к вопросу о том, где именно регуляторы должны провести границу.

«Anthropic по-прежнему считает, что когда модель становится достаточно мощной, публичный выпуск ее весов рискованнее, чем если она остается закрытой внутри приложения, потому что потом это уже нельзя откатить назад или добавить исправления безопасности», — сказал Jain.

Сработают ли ограничения?

Аналитики разошлись во мнениях о том, смогут ли предложенные Anthropic меры достичь цели, не создавая новых барьеров для небольших разработчиков ИИ.

Jain сказал, что ограничения на чипы и меры против незаконного model distillation в первую очередь затронут разработчиков моделей и инфраструктурных провайдеров, а не предприятия, которые уже используют модели на рынке. Однако обязательное тестирование безопасности может повысить издержки на разработку и сократить число доступных advanced open-weight models.

«Тестирование дорогое и занимает много времени, поэтому крупные, хорошо финансируемые компании вроде Anthropic, Google и OpenAI могут его себе позволить», — сказал Jain. Небольшим разработчикам, которые хотят выпустить cutting-edge open-weight models, может быть сложно выполнить те же требования, добавил он.

Дополнительные проверки и screening также могут сократить число open-weight моделей, доступных предприятиям, сказал Su. По его словам, такие требования могут ослабить часть их ключевых преимуществ, включая более низкую стоимость, меньшую зависимость от поставщика и community-led development.

Анан д Джоши, управляющий директор исследовательской компании JP Data, усомнился в том, что ограничение доступа Китая к передовым чипам заметно замедлит его развитие ИИ, заявив, что китайские компании уже показали, что могут создавать высокоспособные модели при меньших вычислительных ресурсах. В то же время он поддержал меры против незаконного distillation, сказав, что нужны защитные меры, чтобы разработчики не воспроизводили возможности других моделей без разрешения.

По словам Jain, влияние на большинство корпоративных пользователей может остаться ограниченным, если менее мощные модели будут освобождены от требований. Бизнесы, которые внедряют модели ниже предлагаемого порога тестирования, вероятно, столкнутся лишь с небольшими дополнительными затратами.

Как CIO следует выбирать

Giri сказала, что CIO должны оценивать модели по их возможностям, а не по тому, открыты ли они, и должны требовать независимого тестирования, понятного лицензирования, документации по модели и ответственности за мониторинг и реагирование на инциденты.

«Обязательное тестирование безопасности должно запускаться подтвержденными возможностями модели, а не ее размером или стоимостью обучения», — сказал Jain, особенно если система может существенно помочь кибератакам, биологическому misuse или автономным вредоносным действиям.

Перед развертыванием CIO следует запрашивать независимые оценки, подробную документацию по модели, результаты security test и информацию о software supply chain модели, добавил он. Charlie Dai, главный аналитик Forrester, сказал, что такая оценка должна включать документированные результаты red-team, происхождение модели, раскрытие данных об обучении и fine-tuning, а также подтверждение независимого тестирования по признанным safety benchmarks.

Первоначально статья была опубликована на ComputerWorld.

Материал — перевод статьи с английского.

Оригинал: Anthropic rejects open-weight AI bans, calls for China chip controls and safety tests