JetBrains проверила Caveman-подсказки для AI-кодинга: экономия токенов оказалась около 8,5%

JetBrains выяснила, что популярная оптимизация для AI-кодинга снижает расход выходных токенов без потери качества, но дает лишь часть обещанной экономии.

Разработчики, которые пытаются снизить стоимость AI-инструментов для кодинга, все чаще переходят на стиль подсказок Caveman: он заставляет coding assistants общаться резко, телеграфным языком и без разговорной «воды». Логика проста: меньше слов — меньше токенов, а значит, ниже расходы на inference для организаций, которые масштабно используют AI agents.

Новый тест от JetBrains, производителя IDE, подтверждает, что краткие стили подсказок, такие как популярный open-source проект Caveman project, действительно могут снижать потребление токенов без ущерба для качества программирования. Но компания пришла к выводу, что экономия намного меньше, чем утверждают сторонники метода.

Для теста JetBrains использовала open-source framework оценки Harbor и задачи из SkillsBench и обнаружила, что техника Caveman сократила использование output tokens примерно на 8,5%, что заметно ниже заявленных 65%.

Компания провела парные бенчмарки на 86 реальных задачах software engineering в Claude Code, сравнивая сессии с Caveman-подсказками и полностью идентичные сессии без них.

Хотя первоначальная оценка всего на 10 задачах показывала экономию примерно в 30%, по мере продолжения теста снижение оказалось около 8,5%, написал инженер JetBrains Denis Shiryaev в блоге, что говорит о менее выраженном эффекте на более широкой и репрезентативной рабочей нагрузке.

Почему экономия оказалась меньше ожиданий

Open-source проект Caveman предполагает, что если agent убирает разговорную оболочку ответов и общается короткими телеграфными фрагментами, сэкономленные output tokens могут дать заметную экономию на масштабе.

По словам Shiryaev, это предположение не учитывает в полной мере, как современные coding agents расходуют токены.

Хотя более короткие prompts и ответы действительно уменьшают объем текста, которым обмениваются с пользователями, основная часть потребления токенов в agentic coding workflows приходится на чтение файлов проекта, рассуждения по задаче, вызов tools и генерацию кода, поэтому сокращение разговорной части само по себе ограничивает общую экономию.

Кроме того, инженер отметил, что превратить экономию токенов в более низкие операционные расходы для предприятий не всегда просто.

Хотя техника Caveman в ходе тестов обычно снижала стоимость отдельных задач кодинга, совокупная стоимость полного бенчмарка оказалась выше для прогонов Caveman после того, как одна задача по dependency audit перешла в длинную ценовую категорию Claude Code, указал Shiryaev.

Та же задача дала похожий ценовой выброс и в раннем базовом прогоне, что означает: аномалия была связана с нагрузкой, а не с самой техникой подсказок, добавил Shiryaev.

Качество кода не ухудшилось

Однако не все результаты JetBrains подрывают идею Caveman.

Тест не выявил заметного влияния на показатели успешности задач, качество кода или время выполнения, сказал Shiryaev, что означает: стиль подсказок, возможно, и не дает драматической экономии токенов, о которой говорят его сторонники, но и не мешает эффективности coding agent.

Помимо простой экономии затрат, результаты теста добавляют нюансы к растущему набору prompt-engineering-подходов, нацеленных на снижение расходов на AI inference.

Помимо Caveman project, другие подходы, включая Markdown-based prompting technique аналитика данных Drona Reddy, тоже заявляли о существенной экономии токенов.

Пока что предприятиям и их руководителям стоит рассматривать такие prompt-engineering-методы как оптимизации, которые нужно проверять, а не как допущения, которые следует принимать на веру: в итоге именно production workloads покажут, материализуется ли обещанная экономия.

Материал — перевод статьи с английского.

Оригинал: ‘Talk like a caveman’ prompts save tokens, but far less than promised