Agentic AI-инструменты больше связаны со встроенными процессами, которые могут работать на CPU вместо дорогих GPU в облаке.
Переход от generative AI (genAI) к agentic AI открывает для компаний возможность использовать более гибкие и менее дорогие вычислительные модели, считают аналитики.
Ранние AI-модели в основном строились на дорогих GPU от Nvidia и AMD, которые обеспечивали сырую вычислительную мощность. Но новые agentic AI-инструменты, основанные на управлении бизнес-процессами и рабочими потоками, могут работать на более эффективном и экономичном оборудовании.
В результате ИТ-руководителям, которые по-прежнему считают, что для всего, что связано с AI, нужны GPU, стоит пересмотреть выбор аппаратной платформы с точки зрения стоимости и возможностей, говорят аналитики.
«Лучше думать об этом как о стоимости AI-вычислений, а теперь и о стоимости платформенных сервисов или систем agentic AI», — сказал Leonard Lee, главный аналитик Next Curve. «”AI computing” или “accelerated computing” явно вышли за рамки GPU как инференс-ускорителя».
К новым вариантам оборудования относятся CPU и специализированные AI-чипы, также известные как ASIC в терминологии полупроводниковой отрасли. Хотя эти чипы существуют уже много лет, сейчас они демонстрируют реальную полезность по мере того, как agentic AI выходит в мейнстрим.
Прежде всего, CPU — основной чип любого компьютера — переживает своеобразное возрождение. «CPU снова возвращается как незаменимая основа AI-эпохи. Теперь CPU служит слоем оркестрации и критическим control plane для всего AI-стека», — сказал Lee.
CPU отличаются энергоэффективностью и хорошо подходят для AI на edge, хотя специализированные маломощные чипы могут быть эффективнее в зависимости от задачи, сказал Jim McGregor, главный аналитик Tirias Research. «Использовать ASIC вместо CPU все равно будет эффективнее, и в большинстве случаев это будет дешевле в течение жизненного цикла платформы», — сказал он.
Рост инференса открывает возможности для оптимизированных AI-ускорителей, которые могут выполнять такие задачи эффективнее, чем GPU, сказал Mike Feibus, главный аналитик FeibusTech. «…Относительная важность [the] CPU растет».
Nvidia, понимая, что ей нужен маломощный чип помимо прожорливых GPU, уже представила ASIC для inferencing в своем аппаратном стеке. А недавно компания лицензировала технологию AI-чипов Groq за 20 млрд долларов.
Поскольку Agentic AI использует иную вычислительную модель, чем genAI-тренировка на GPU, компаниям нужно учитывать варианты аппаратного обеспечения и модели ценообразования, которые предлагают облачные провайдеры. «Речь скорее об управлении моделями, чем об их создании, — а CPU критически важен для управления рабочими потоками», — сказал Jack Gold, главный аналитик J. Gold Associates.
Разброс цен по-прежнему остается проблемой. Обычные CPU-вычисления тарифицируются не так, как интенсивное использование GPU, из-за чего сложно точно просчитать затраты, сказал Gold. «GPU при обучении потребляют в целом больше электроэнергии из-за почти 100-процентной загрузки в тренировочной нагрузке, тогда как в универсальных вычислениях серверы и CPU обычно работают на уровне примерно 40%–60% загрузки», — сказал он. «Но все сильно зависит от того, что делает агент».
Gold прогнозирует, что в ближайшие два-три года 80%–85% AI-нагрузок перейдет в инференс, особенно по мере того, как инструменты станут более agentic. «CPU приобретают огромное значение для того, чтобы все работало. Поэтому все hyperscaler’ы сейчас наращивают именно CPU, а не только GPU», — сказал Gold.
Крупные облачные провайдеры Google, Amazon и Microsoft, например, имеют собственные CPU и маломощные ASIC для inferencing.
То, что сейчас выглядит как рост спроса на CPU, на самом деле указывает на более широкую проблему: растущую сложность AI-инфраструктуры, сказал Gaurav Shah, вице-президент по развитию бизнеса и стратегическим партнерствам в NeuReality.
Накладные расходы на перемещение данных, оркестрацию и сетевое взаимодействие стремительно растут, сказал Shah. «Именно это и подталкивает спрос — не CPU, которые делают больше AI, а системы, которые не успевают за AI», — сказал он.
Вне enterprise-компаний genAI-компаниям, AI-native-компаниям и neoclouds тоже придется пересмотреть архитектуру. «Победят те архитектуры, которые обеспечивают максимум inference на ватт, а не максимум ядер на сервер», — сказал Shah.
Материал — перевод статьи с английского.
Оригинал: Enterprises need to think beyond GPUs for agentic AI, analysts say