Почему стоит избегать бесплатных AI-токенов и строить multi-vendor стратегию

Искусственный интеллект лучше распределять между несколькими вендорами и моделями, предупреждают отраслевые эксперты.

Эксперты технологической отрасли призывают IT-руководителей с осторожностью относиться к уловкам AI-вендоров вроде бесплатных токенов и выбирать multi-vendor и multi-model стратегию, чтобы не попасть в vendor lock-in.

«Не бойтесь использовать multi-vendor подход, чтобы получать ценность от разных AI-инструментов, вместо того чтобы рисковать привязкой к одному поставщику», — сказал Max Goss, старший директор-аналитик Gartner.

По словам Goss, маловероятно, что один AI-вендор или одна модель закроют все требования организации.

Совет звучит на фоне того, что все больше AI-вендоров предлагают дешевые токены, субсидируемые венчурным капиталом, в борьбе за клиентов. Компании также нанимают forward-deployed engineers (FDEs), чтобы продвигать свои модели в enterprise-сегмент.

Когда компании начинают выстраивать бизнес-процессы вокруг конкретных AI-моделей, они оказываются заперты в экосистеме этого поставщика. «Люди используют гибридные стратегии… чтобы снизить стоимость токенов, и переходят на более token-efficient модели», — сказал Jack Gold, главный аналитик J. Gold Associates.

Бесплатные и дешевые токены от AI-вендоров могут подталкивать компании строить процессы и рабочие потоки вокруг проприетарных LLM и agents, отметил Max Leaming, руководитель data science и AI solutions в ManpowerGroup.

Но по мере развития AI-ландшафта сложно предсказать, появится ли в итоге multi-model или multi-vendor среда, сказал Logan Wolfe, партнер по глобальной AI-стратегии и sovereign transformation в IT-консалтинге Kyndryl. «Думаю, да, это может быть multi-model. Все упирается в use case и тип реализации», — сказал Wolfe.

Предприятия все еще переходят от экспериментального подхода к восприятию ИИ как мощного инструмента, который должен иметь бизнес-смысл. Поэтому IT-лидерам стоит строить AI-стратегию вокруг use case, а не вокруг вендоров, сказал Wolfe.

«Если речь идет о сильно регулируемой сфере, о финансовом секторе, о здравоохранении, тогда гораздо больше внимания будет уделяться безопасности, конфиденциальности, соблюдению определенных регуляторных требований, и это может помешать быстрому переключению моделей ради экономии», — сказал Wolfe.

Для low-stakes use case разумно иметь подход с переключением модели, который не разорит компанию. «Если это простой use case с переменным объемом, например data center поддержки клиентов, то в периоды высокой нагрузки можно переключаться на более мощную модель, а затем оптимизировать это по вечерам и в выходные», — сказал Wolfe.

Chief Digital Information Officer ServiceNow Kellie Romack, которая работает в IT уже 25 лет, сказала, что компании должны понимать, как именно построен их ИИ. «Нельзя строить ИИ так, чтобы люди не понимали, как он был создан…, как его отлаживать, как делать backup и как восстанавливать трассировку», — сказала она.

Romack также давно выступает против того, чтобы просто вырывать платформу одного вендора и заменять ее платформой другого. «Я говорю: давайте сначала поговорим о технологии, которая у вас уже есть…, а потом посмотрим best of breed», — сказала она.

После изучения того, чем клиенты уже владеют и куда движутся их контракты и планы, Romack оценивает варианты по архитектурным принципам и по решаемой проблеме, а затем запускает несколько моделей внутри компании, например Claude от Anthropic и Copilot от Microsoft, через один LLM gateway.

«У нас внутри много разных вещей, до которых люди могут буквально дотянуться», — сказала Romack.

Например, Claude может лучше подходить для чтения длинного документа Word, а Copilot — для быстрого summary.

Она внимательно следит за внутренними расходами на ИИ. «Каждый день мы смотрим на token spend. Я смотрю на инженера, у которого та же работа, что и у другого инженера, и думаю: “Так, ты потратил 10 долларов, а ты — 10 000. Почему?”»

Избегать vendor lock-in важно и для непрерывности сервиса. В последние месяцы сбои затронули AI-сервисы OpenAI и Claude, а multi-model подход дает запасные варианты, сказал Goss из Gartner.

«Если вы полагаетесь на одного провайдера и одну модель, это риск. Его можно снизить с помощью multi-model подхода», — сказал он.

Материал — перевод статьи с английского.

Оригинал: Too good to be true? Avoid free AI token offers — or risk vendor lock-in