Как finops помогает сдержать взлетевшие затраты на AI token costs

Cloud finops can help enterprises get smart about controlling generative AI costs using the same playbooks that tamed cloud spending.

Каждые несколько лет появляется новая технология, которая обещает перевернуть бизнес, и компании бросаются внедрять ее, не спрашивая, во сколько это обойдется. Я наблюдаю этот сценарий уже 30 лет. Сначала это был cloud computing. Теперь это generative AI, и счет приходит быстрее, чем кто-либо ожидал.

Последние данные показывают, что у многих компаний затраты на AI token costs оказываются в 10–20 раз выше первоначальных прогнозов. Это не погрешность округления. Это стратегическая ошибка, которую CFO уже начинают замечать, и они этим недовольны.

Дело в том, что этот кризис был полностью предсказуем. Мы уже проходили это с cloud computing и усвоили жесткие уроки о том, что бывает, когда технологии внедряют без строгого контроля затрат. Хорошая новость в том, что компании наконец применяют эти уроки и обращаются к своим cloud finops playbooks, чтобы обуздать новый вид расходов.

The 50x problem

Объясню масштаб происходящего. Goldman Sachs оценивает, что AI agents потребляют примерно в 50 раз больше вычислительной мощности на задачу, чем традиционные чат-боты на prompt-based подходе. Это фундаментальный сдвиг в том, как расходуются ресурсы. Если умножить это на десятки или сотни AI agents, которые внедряет компания, математика очень быстро становится неприятной.

Проблема token costs усугубляется тем, что затраты на AI по своей природе переменные. В отличие от традиционного лицензионного ПО или инфраструктурных контрактов, вы платите за token, а его потребление может резко колебаться в зависимости от поведения пользователей, сложности запросов и общего объема обращений к системе. Это точно та же проблема, с которой мы сталкивались в cloud computing. Каждый раз, когда кто-то запускает новый instance или хранит данные не в том tier, счет растет.

Компании ожидали, что развернут AI и увидят стабилизацию расходов. Вместо этого затраты растут месяц за месяцем и часто превышают прогнозы в разы. Бизнес-кейс, который выглядел убедительно в переговорной, заметно теряет привлекательность на финансовом комитете.

Lessons from the cloud playbook

Вот здесь становится интересно. Cloud providers и managed service providers, которые работают с ними, почти два десятилетия строили дисциплину financial operations — finops, если использовать модное сокращение. Это практики, инструменты и организационные структуры, которые делают cloud spending видимым, управляемым и в итоге объяснимым для бизнеса.

Те же дисциплины теперь применяются к AI token costs, и компании с зрелыми finops-программами справляются лучше тех, у кого их нет. Набор действий по сути тот же:

• сделать расходы видимыми;
• привязать затраты к нужным командам;
• задать guardrails и alerts;
• создать feedback loops, которые поощряют эффективное поведение.

Компании вроде Priceline внедрили dashboards, которые дают руководителям visibility в реальном времени по token consumption, а ежемесячные отчеты поступают напрямую CFO и CTO. Smartsheet использует похожий подход, предоставляя department-level dashboards, чтобы менеджеры видели, как именно их команды расходуют tokens, и получали automated alerts, когда потребление приближается к заданным порогам.

Компонент accountability здесь критически важен. Когда разработчики и бизнес-пользователи видят, как их использование AI превращается в доллары, они принимают более взвешенные решения о том, какие models использовать, как строить prompts и когда лучше положиться на human judgment вместо AI processing.

The show-back revolution

Одна из самых эффективных техник, появившихся в ответ на этот кризис, — подход show back к управлению AI cost management. Вместо того чтобы просто показывать расходы отдельным департаментам, компании теперь относят AI spending на команды и конкретных людей, которые создают это потребление. Так появляется accountability без организационной сложности полноценной chargeback-модели.

OpenText сообщала, что внедрение подходов show-back и chargeback может снизить token costs на 20%–30% за несколько месяцев. Это немало. Если вы тратите $5 млн в месяц на AI tokens, это экономия $1,5 млн только за счет того, что люди начинают видеть, сколько они расходуют.

Механика проста: когда руководитель разработки понимает, что его команда израсходовала $200 000 в tokens за месяц, он начинает задавать вопросы. Почему для этой задачи используется самая дорогая model? Может ли более small model обработать 80% этих запросов? Не повторяются ли prompts без необходимости? Такие вопросы ведут к optimization, а optimization — к savings.

Model smarts

Еще один урок cloud-опыта заключается в том, что самый дорогой вариант редко оказывается лучшим. Это звучит очевидно, но организации часто по умолчанию выбирают самый большой и самый мощный AI model для любой задачи, даже если такая мощность на самом деле не нужна.

Новая best practice — подбирать model capability под требования задачи. Простая classification task не требует frontier model. Обычную text-generation задачу вполне может закрыть меньшая и более дешевая model, запущенная локально или через более дешевый API tier. Выигрыш в эффективности от такого подхода может быть существенным.

Некоторые компании идут дальше и для подходящих use cases используют более старые models или open source-альтернативы. Qualcomm, например, инвестировала в запуск models на собственном hardware вместо того, чтобы полагаться исключительно на cloud-based model providers. Такой подход требует большей технической зрелости, но может резко сократить per-token costs для high-volume приложений.

The real challenge

Больше всего меня в текущей ситуации беспокоит вот что. Многие компании внедряли AI, не выстроив заранее достаточную cost management infrastructure. Их захлестнули энтузиазм вокруг технологии, конкурентное давление и вера в то, что выгоды оправдают любые затраты. Такой подход работал, когда AI-проекты были небольшими экспериментами. Но теперь, когда AI становится ядром business operations, отсутствие финансового контроля превращается в серьезную проблему. Нам нужно применять к закупке и внедрению AI такую же дисциплину, какую мы применяли к любым другим крупным технологическим инвестициям.

Компании, которые добьются успеха, будут воспринимать AI token costs как управляемые operating expense, а не как непредсказуемую переменную. Это означает использование тех же инструментов и дисциплин, которые уже доказали эффективность в cloud cost management: visibility, accountability, optimization и continuous improvement.

Cloud providers и managed service partners, которые с ними работают, делают это уже много лет. Они построили инструменты, разработали best practices и подготовили специалистов, которые теперь могут применить этот опыт к проблеме AI costs. Если вашей организации трудно контролировать AI spending, поиск партнеров с глубоким опытом finops может стать самым быстрым путем к управлению затратами.

Хорошая новость в том, что этот кризис можно решить. Но для этого нужно признать проблему, вложиться в нужные возможности и принять, что внедрение технологий без финансовой дисциплины ведет к неприятностям.

Разумно управляйте расходами на AI. CFO это оценит.

Материал — перевод статьи с английского.

Оригинал: Relearning cloud lessons from runaway AI token costs