Как компании снижают расходы на tokens в generative AI и LLM

Сервисы generative AI, которые используют tokens для выдачи результатов, могут быстро становиться дорогими. Это заставляет IT-лидеров искать новые способы сократить потребление tokens и сэкономить деньги.

Поскольку инструменты и сервисы generative AI стали повсеместными и популярными, расходы на их использование стремительно растут — вместе с ненасытным спросом на tokens.

Tokens — это распространённый способ измерять и тарифицировать использование AI. Как буквы и слова в английском, large language models (LLM) разбивают запрос или предложение на tokens, чтобы понять его смысл.

По мере развития AI-бума tokens стали «основными единицами данных, которые обрабатывают наши модели, и многие из них представляют решаемую проблему», сказал CEO Google Сундар Пичаи. (Google, к слову, обрабатывает около 3,2 квадриллиона tokens в месяц.)

Но по мере того как стоимость всех этих tokens растёт, руководители бизнеса и IT ищут способы снизить расходы, не жертвуя корпоративной продуктивностью. Неконтролируемое потребление tokens уже обошлось одной компании в неожиданный счёт за AI на 500 млн долларов.

Есть несколько способов сдержать стоимость AI на уровне модели, инфраструктуры, silicon и бизнес-процессов. Ниже — взгляд на то, как эти меры могут работать на практике.

Переход на более дешёвые модели

Один из способов сэкономить — перенаправлять AI-задачи на более дешёвую модель, сказал Пичаи. В Google это была бы Gemini 3.5 Flash. Она даёт «возможности уровня frontier» менее чем за половину цены сопоставимых frontier-моделей.

«Если компании будут использовать смесь [Gemini 3.5] Flash и других frontier-моделей, они смогут сэкономить много денег», — сказал Пичаи.

Такие модели дают более дешёвые tokens, а качество reasoning у них достаточно хорошее для многих пользователей — пусть и не такое сильное, как у основной Gemini 3.5, — чтобы выдавать полезные результаты.

«Иногда с [LLM] бывает перебор», — сказал Deepak Seth, старший директор-аналитик Gartner. «Мне не всегда нужна large language model, обученная на произведениях Чарльза Диккенса, Шекспира и Harry Potter».

Главный аналитик Hyperframe Research Стивен Диккенс не перестаёт использовать Amazon Quick за 20 долларов в месяц для личных задач. «Это отличный личный ROI: он не только ускорил выполнение задач, но и открыл мне задачи, за которые я раньше вообще бы не взялся», — сказал Диккенс.

Не забывайте о роли hardware и software

Кризис tokens не нов, сказал Dheeraj Pandey, CEO DevRev, который сравнивает происходящее на рынке AI с потрясениями, которые возникли много лет назад с приходом cloud computing и virtualization.

«Мы позволили хаосу править, а потом нам пришлось этот хаос сдерживать», — сказал Pandey. «Тогда люди начали говорить о server consolidation и virtualization».

По его словам, решение проблемы tokens то же самое: «Любую проблему в systems можно решить с помощью caching и indirection».

Например, DevRev строит memory layer между AI agents и первичными источниками данных, такими как записи Salesforce или ERP; это может снизить нагрузку на tokens и сделать перемещение данных более эффективным. Этот слой хранит knowledge graph с ответами на типовые вопросы agents и работает на более дешёвых CPU, избегая более дорогих GPU-циклов.

Если направлять agents напрямую в такие системы, как ServiceNow и Salesforce, «это сожжёт гораздо больше tokens. Это также неточно. И, наконец, это недостаточно безопасно, чтобы я мог откатить изменения, если agent допустил ошибку», — сказал Pandey.

Компания NetBrains, занимающаяся сетевой автоматизацией, использует другой подход: она применяет обычные вычисления, чтобы картировать структуру сети, а затем передаёт моделям только ключевую информацию для планирования и reasoning, где AI особенно хорош. «Так вам не нужно тратить все tokens», — сказал CTO NetBrains Санг Пэн.

Ставка на эффективность prompt

Аутсорсинговая компания ManpowerGroup считает, что эффективность prompt может быть действенным способом улучшить использование tokens как внутри компании, так и для клиентов.

Например, пользователям внутреннего инструмента по рынку труда сначала требовалось 10 уточняющих вопросов, чтобы сузить запрос. Спустя год более эффективное использование prompt сократило это число в среднем до четырёх, сказал Max Leaming, руководитель направления data science и AI solutions в ManpowerGroup.

«Они используют меньше tokens и просто работают эффективнее», — сказал он. «И во многом это связано со способностью эффективно задавать prompt».

Переходите к локальным решениям

Новое AI-hardware, которое генерирует бесплатные tokens дома, может смягчить часть кризиса затрат.

На GTC Taipei в начале этого месяца Nvidia и Microsoft представили RTX Spark — agentic AI desktop PC, который локально на Windows запускает agents и модели с 120 миллиардами параметров. Цель — «принести неограниченный intelligence в каждый дом и к каждому рабочему столу с Windows», говорится в заявлении CEO Microsoft Сатьи Наделлы.

Некоторые компании пытаются снизить облачные расходы на AI, размещая собственное hardware в data center, при этом поставщики вроде HPE и Dell предоставляют серверы, установленные в независимых площадках. (On-premise AI набирает обороты на фоне sovereign AI и геополитических рисков, включая недавний конфликт на Ближнем Востоке, где по крупным data center наносились ракетные удары.)

«Есть локальные, регионально ориентированные и мультивендорные AI-решения. Всё это может помочь снизить риск. Но оно не устранит его полностью», — сказал Max Goss, старший директор-аналитик Gartner.

Используйте forward-deployed engineers

Сокращение затрат на tokens может лечь на forward-deployed engineers (FDEs) в клиентских средах, сказал Taimur Rashid, управляющий директор AWS Generative AI Innovation Center.

«Я ожидаю, что эти команды смогут проектировать системы с учётом таких требований к затратам — будь то использование другой модели или другой use case, который не повышает стоимость за token», — сказал Rashid.

Компании могут много тратить на потребление tokens, «но если вы генерируете выручку, то пока экономика сходится, всё в порядке», — сказал Rashid.

Использование FDEs набирает обороты, поскольку IT-руководители стремятся одновременно успешно внедрять AI-решения и следить за затратами.

Сместите метрику успеха с tokens на outcomes

Даже при нынешнем акценте на сокращении использования tokens ради экономии метрики, по которым измеряют успех AI, вероятно, изменятся, сказал Seth из Gartner. Со временем тарификация на основе tokens будет всё больше переходить к модели, основанной на outcomes, где единицей ценности будут результаты, а не фрагменты слов.

«Некоторые компании переходят к outcome-based pricing», — сказал Seth. «Когда люди начинают понимать реальную стоимость tokens, компании начинают смотреть на token efficiency».

Материал — перевод статьи с английского.

Оригинал: How companies are racing to solve the AI token problem