Нас об AI-агентах спрашивают, пожалуй, 50 раз в неделю.
CEO публичных компаний. Основатели, которые только запускают свой первый AI SDR. Лидеры RevOps, пытающиеся понять, строить решение самим или покупать готовое. Всем важно знать, что на самом деле происходит за кулисами, когда вы запускаете более 20 AI-агентов в production с командой из 3 человек.
Мы не можем проводить 50 консультационных созвонов в неделю. Но можем сделать кое-что полезнее.
Добро пожаловать в The Agents, эпизод #001.
Это новое еженедельное шоу, которое я веду вместе с Amelia Lerutte, Chief AI Officer в SaaStr. В нем мы приоткрываем занавес над всем, что происходит в нашем живом agentic stack. Каждую неделю. Все сбои, прорывы и честный разговор. Без прикрас.
Наша цель проста: ускорить ваш успех на agentic-пути, делясь собственным опытом, включая все то, что не попадает в посты в LinkedIn.
Смотрите / слушайте эпизод #001 здесь:
Вот что мы обсудили в дебютном выпуске:
Вы можете это построить. Но кто будет это поддерживать?
Это мета-вопрос, о котором никто не говорит после того, как вы с vibe code собрали свое первое приложение. И именно он объясняет, почему фраза «Я убью Salesforce с помощью своего CRM, написанного на vibe code» по-прежнему остается в основном мемом.
Запустить приложение в production — это как закрыть сделку. Это начало пути, а не конец.
Мы разобрали три живых примера только за эту неделю:
1. Сбой в preview-среде.
Несколько наших приложений потеряли соединение с базой данных в preview. В production все было нормально, но мы не могли ничего дорабатывать в течение нескольких часов. Первоначальная диагностика Amelia оказалась неверной. Агент пытался помочь, но затем обвинил Qualified (наш инструмент для входящего потока), хотя проблема была не в нем. Потом он начал обвинять другие сторонние интеграции. Он просто продолжал указывать пальцем на самую сложную интеграцию, которую только мог найти, вместо того чтобы определить реальную проблему.
Главный вопрос: если у вас нет человека, который проверяет ваших агентов 24/7, как долго пройдет, прежде чем вы вообще заметите, что backend сломан, а frontend выглядит нормально? Возможно, дни.
2. Микрогаллюцинации в 10K, нашем AI VP of Marketing.
У 10K есть 5 лет выручки, сотни миллионов точек данных по участникам и спонсорам, красивые графики, ежедневные proactive check-ins. Он очень хорош. Но он постоянно путает, какой сейчас год. Вчера он сказал, что мы идем на 44% впереди плана. Сегодня утром — на 11%. Один и тот же агент, одни и те же данные, один и тот же день. Когда я спросил, что случилось, он ответил: «Да, я сравнивал с неправильным годом. И поскольку у меня не было правильного года, я выдумал данные».
Теперь я трачу примерно 15 минут в день на поддержку 10K. Две недели назад я не делал этого вообще. Без этого агент постепенно дрейфует — медленно, незаметно, все дальше от реальности.
3. Регрессии, связанные с моделью, в нашем анализаторе pitch deck.
Мы оценили уже более 4 000 pitch deck стартапов. Анализатор делает два прохода через Claude со сложным извлечением данных. Месяцами он работал стабильно. Потом примерно в январе, без каких-либо изменений кода с нашей стороны, он начал говорить каждому стартапу, что у них $100K выручки и рост 500%. Снова и снова. Что произошло? Незаметное обновление модели (вероятно, dot release) привнесло галлюцинации в сложный многошаговый workflow. Я продолжал исправлять это. Оно продолжало ломаться. Код не менялся. Модель — да.
Три примера. Один вывод: принцип «настроил и забыл» с агентами не работает.
Агент Clay попытался выставить нам счет в 5 раз больше. А потом посоветовал обновить тариф.
Мы большие поклонники Clay. Мы активно используем его для enrichment и lookalike targeting. Но эту историю стоит рассказать, потому что она случится с любой компанией, которая поставит AI-агента лицом к клиенту.
Amelia поздно вечером в воскресенье собирала VIP-лист. Тот же самый workflow, который она уже запускала на прошлой неделе. Агент Sculptor от Clay назвал ей примерно 11 000 credits за то, что неделей ранее стоило около 2 500. В 5 раз дороже.
Когда она стала возражать, она заметила две вещи:
Во-первых, агент по умолчанию выбрал самый дорогой enrichment-модельный сценарий, хотя более дешевая модель дала бы тот же результат. Она указала на это, и стоимость удалось снизить вдвое. Большинство клиентов не знали бы, как это сделать.
Во-вторых, агент был недостаточно обучен новым тарифам Clay. Clay как раз запустил более сложное ценообразование (а классическое правило SaaStr таково: когда компания вводит более сложные цены, даже если утверждает, что это выгоднее, почти всегда это скрытое повышение цены). Агент не понимал, как именно работает новый прайсинг, и поэтому направлял Amelia к апгрейду плана, хотя это было не нужно.
В итоге она нажала кнопку апгрейда в 11 вечера в воскресенье, потому что устала и ей нужно было закончить работу. Это не должно быть проблемой клиента.
Когда она сообщила об этом команде Clay, там признали, что Sculptor не был полностью обучен новым сценариям тарификации. Сейчас это исправлено. Но урок универсален: если вы постоянно не обучаете customer-facing агентов каждому изменению продукта, каждому обновлению цен, каждому новому workflow, они будут давать вашим клиентам неправильные ответы. Мы видели это и на собственных агентах. Digital Jason (наш AI advisor на базе Delphi) четыре месяца незаметно не загружал новый контент, а я этого не знал.
Я также попробовал agent на главной странице HubSpot, чтобы получить ценовое предложение для нашего масштаба. Не смог добиться внятного ответа. Было ли это сделано намеренно, чтобы подтолкнуть к разговору с человеком, или это проблема обучения — результат один и тот же: агент подвел клиента.
Читайте часть клиентских взаимодействий вашего агента каждый день. Всегда.
No Lead Left Behind: самое простое открытие на всем agentic-пути
Иногда я медленно замечаю очевидное. Даже после месяцев работы с AgentForce, Monaco, Artisan, Qualified, Momentum и всем остальным я не до конца понял, почему наши агенты работают, пока на этой неделе не встретился с CEO и CRO отличной публичной компании с тысячами продавцов.
Они спросили меня: «Что нам делать первым делом?»
Я разложил последовательность. Сразу давать отличные ответы на сайте. В реальном времени назначать встречи с sales. Переобрабатывать каждый лид в базе. Возвращаться к старым лидам, которые никто не трогал.
И тогда я понял: причина, по которой все наши агенты работают, не в том, что они умнее людей. А в том, что у нас не остается ни одного лида без внимания.
Каждый, кто заходит на наш сайт, может сначала поговорить с агентом, а потом с человеком. Каждый потенциальный клиент, который хочет скидку, получает ответ в реальном времени. Каждый спонсор, даже тот, кто собрал $2M на demo day и которого человеческий менеджер мог бы проигнорировать, все равно получает разговор. Каждый старый лид в нашей базе, на которого у людей не хватило времени, получает касание.
Агент не судит. Агент не занят. Агент не решает, что лид категории B не стоит времени.
Даже при нашем масштабе Amelia признала на этой неделе, что у нее оставались лиды без внимания, потому что она мчалась по production-обязательствам. Ее агенты сидели без дела, готовые работать. Все наши агенты простаивают 90% времени. У нас в разы больше capacity, чем до появления агентов. Следующий рубеж — понять, как использовать эту capacity полностью. Но первый шаг — просто убедиться, что каждый лид, каждый потенциальный клиент и каждый customer получает касание так, как он этого хочет, в реальном времени.
Если ваши агенты больше ничего не делают, они должны делать именно это.
Salesforce поставила Qualified на главную страницу в день закрытия сделки
На этой неделе мы заметили, что если зайти на salesforce.com без входа в аккаунт, вместо старого support-агента вы увидите Qualified agent. В день, когда сделка по acquisition была завершена, они это переключили.
Умный ход. AgentForce работает (мы его используем), но он широкий и расширяемый across nine different clouds. Его настройка требует серьезной работы. Qualified — это сфокусированный GTM agentic-инструмент. Исторически он занимался только квалификацией inbound. Теперь он выходит и в outbound. Но он уже, быстрее внедряется и проще для команд GTM.
Интересная деталь: первоначальный аватар Qualified был сделан по образу реального человека (Blake). Salesforce заменил его на 3D-картонную версию. Вероятно, из-за соображений IP/likeness и чтобы показать, что теперь это продукт Salesforce. (Именно поэтому Amelia AI и Jason AI сделаны по нашему образу. Мы никуда не исчезаем. Все права у нас.)
Для клиентов Salesforce CRM это теперь быстрый win. Можно получить agentic-продукт нативно внутри Salesforce и развернуть его за пару недель, а не через более долгую имплементацию AgentForce. Неважно, лучший ли это инструмент на рынке или нет (есть конкуренты), главное: он встроен, он уже на их главной странице, и если ваша цель — GTM и принцип «no lead left behind», вы можете быстро запустить его в работу.
Amelia сказала, что кривая обучения AgentForce у нее была круче, чем у Qualified. И это при том, что она наш Salesforce admin. Для большинства GTM-команд Qualified от Salesforce будет более простым входом.
Обновления QB и 10K: локализация в Waymo и от агента не скрыться
Несколько коротких наблюдений от наших AI-участников команды на этой неделе:
Интеграция Salesforce для 10K оказалась сложнее, чем ожидалось.
У Replit есть нативный коннектор Salesforce. Но token истекал каждые 24 часа. Агент несколько дней даже не понимал, что проблема именно в этом. Amelia пришлось собрать custom connected app в Salesforce (при этом Claude давал инструкции, а Cowork смотрел на экран и ловил ошибки в реальном времени). После этого token обновляется ежегодно, а не ежедневно. Полчаса работы, но для этого нужно быть Salesforce admin с нужными правами. Не каждая интеграция — это one-click, даже если так выглядит.
Мы локализовали QB (наш AI VP of Marketing) на китайский и испанский за 20 минут в Waymo.
В этом году у нас есть китайские спонсоры, которым было сложно пользоваться нашим приложением customer success, доступным только на английском. Amelia попросила Replit добавить переключатель языка. Это заняло около 20 минут: перевод через OpenAI, затем QA по скриншотам через Claude и Cowork. Сначала агент ленился и переводил только меню, а не более глубокий контент. Пришлось несколько раз его подталкивать. Но при этом: Shopify, компания с выручкой более $13B, выпустила локализацию для своего продукта только в прошлом году. Мы сделали это в поездке на rideshare.
QB поймал спонсоров, которые подделывали дедлайн для печати.
Некоторые спонсоры загружали заглушки или неполные материалы и делали вид, что уложились в срок. QB проверил каждую загрузку (с помощью Claude), поймал каждую заглушку и связался с каждым контактом в организации. Нейтрально. Без драмы. «Спасибо за загрузку. Это не соответствует спецификации. Вот что нам нужно. Вот дедлайн». Человек мог бы это пропустить или ему было бы неловко возражать платящим клиентам. QB все равно. Он просто все проверяет и говорит правду.
Один CEO публичной компании сказал мне: «Это звучит как support на стероидах». Нет. QB проактивно доводит до конца каждый deliverable и следит, чтобы он был выполнен. Это не реактивный support. Это AI VP of Customer Success.
Создайте собственного VP of Customer Success
Если в вашей компании есть onboarding, deployment checklist, обучение, любые deliverables, которые вам должны клиенты или партнеры: ваши люди, скорее всего, не закрывают это на 100%. С ними спорят. Сроки съезжают. Что-то теряется в трещинах.
Соберите собственного QB. Amelia опубликовала полный playbook и prompt на saastr.com. Если вы не сделаете ничего больше, кроме полной автоматизации слоя follow-up и accountability в customer onboarding без драмы, без жалоб и без пробелов, ваша жизнь станет лучше.
Еще несколько вещей, которые мы затронули в выпуске
- Клиент пожаловался, что наша «AI support» дала плохой ответ. Это был человек. Покупателю билета дважды списали деньги из-за сбоя на сайте. Наша команда вернула средства, но пропустила 3% комиссию Stripe. Клиент обвинил наш AI. Ирония в том, что AI (QB), вероятно, автоматически заметил бы проблему с комиссией. Человек — нет.
- Теперь у нас больше ежедневных Slack check-ins от агентов, чем от людей. До агентов наш Slack был практически мертвым. Теперь 10K и QB каждое утро публикуют proactive-обновления. Лучше, чем любые человеческие check-ins, которые у нас когда-либо были. Если ваш Slack молчит, значит, ваши агенты интегрированы недостаточно глубоко.
- Маркетинговые агенты сильно отстают от sales и support. Нам пришлось строить собственного AI VP of Marketing, потому что готовые решения были недостаточно хороши. Если ваш «AI marketing tool» просто пишет посты в соцсети или скрейпит SEO-данные, это не то. Нам нужен agentic marketing, который реально думает о pipeline, conversion и week-over-week performance. Пока это почти не существует.
- Следующий рубеж — agentic lead magnets. На наши web-properties приходит около 500K уникальных посетителей. Это не лиды. Но что, если каждый посетитель получал бы по-настоящему персонализированный опыт — не спам, не деанонимизированное cold email, а реальную контекстную ценность? Основатель получает гайд по привлечению инвестиций. CRO — приглашение на наш executive summit. Именно туда должен двигаться маркетинг с агентами.
- Все наши агенты простаивают 90% времени. У нас в разы больше capacity, чем было до агентов. Мы еще не поняли, как использовать ее полностью. Но объем неиспользуемой мощности поражает. Каждый человек считает, что он слишком занят. Каждый агент ждет больше работы.
Вот это и есть шоу. Каждую неделю — все сбои и прорывы из работы с более чем 20 агентами в production. Если вы уже идете по agentic-пути или только собираетесь начать, подпишитесь там, где вы обычно слушаете.
The Agents. Эпизод #001. Amelia Lerutte, Chief AI Officer, и Jason Lemkin, главный сторонник Chief AI Agent. Еженедельно.
SaaStr.AI: Спросите нас о чем угодно
https://www.saastrannual.com/buy-tickets-2026?promo=April200
0 0
1 1
5 6
4 5
Увидимся скоро!
Материал — перевод статьи с английского.