ИИ нуждается в «школе пилотов»: почему разработчикам нужны базовые навыки и контроль

Когда речь идет о внедрении ИИ в проекты, многие команды разработки летят вслепую

В конце 1960-х элитные пилоты ВМС США начали проигрывать воздушные бои один за другим.

Глубокое, на уровне приборов понимание того, где именно они находятся, что делает самолет и что будет дальше, было автоматизировано. И когда наступали кризисные моменты, у них уже не хватало ситуационной осведомленности, чтобы отреагировать. Держите самолет на автопилоте достаточно долго — и пилот перестает по-настоящему летать.

Похожая динамика разворачивается в корпоративном ПО. ИИ генерирует код быстрее, чем разработчики успевают его понять, а руководители празднуют скорость, не спрашивая, кто вообще управляет самолетом.

Разработчик, который все время занимался только vibe coding, в лучшем случае лишь видит результат. Он может «видеть» вывод, но не способен исправить внутренние сбои, вызванные теми же системами ИИ, на которые он опирается. Самое простое — сказать, что ответ выглядит достаточно хорошо, вставить его и надеяться, что все сработает. По данным randomized control trials от Model Evaluation & Threat Research, опытные разработчики, работавшие с инструментами ИИ, тратили на выполнение задач на 19% больше времени, чем без них, хотя заранее ожидали ускорения на 24%.

Основы качественной поставки ПО никогда еще не были настолько важны — и никогда так не игнорировались.

Когда приборы гаснут

Ответом ВМС на подготовку лучших пилотов стала школа Top Gun — не только для того, чтобы учить летать в бою, но и чтобы возвращать пилотам умение действительно управлять самолетом. Это означало возвращение к основам: освоение технических и боевых навыков, которые лучше всего готовят к моментам кризиса и требуют ясного мышления. Именно такая дисциплина позволяет принимать мгновенные решения, когда на кону все.

Представим сценарий. Инженерная команда розничной компании использовала ИИ, чтобы перед праздничным сезоном рефакторить систему промоакций. Код прошел все тесты. Ревью были чистыми. Его выпустили во вторник без единого сигнала тревоги.

Но что, если никто не заметил, что ИИ незаметно изменил порядок операций в расчете скидки? Это логическое смещение не сломало бы ни один отдельный тест-кейс, но могло бы начать накапливать ошибку, когда несколько промоакций применяются к одной корзине. Этого вполне хватило бы, чтобы компания потеряла миллионы к тому моменту, когда финансовый аналитик заметит проседание маржи на квартальном закрытии.

Волна vibe coding уже идет на спад. Один анализ показал, что около 10 000 стартапов пытались строить production-приложения с помощью AI assistants; более 8 000 из них теперь нуждаются в переработке.

Наша задача — превратить этот момент расплаты в возможность.

Обучение разработчиков для реальных задач

Так что же мы, как руководители, можем с этим сделать?

Основа всего, что мы делаем, — это доверие, а именно обучение людей доверию к собственной работе и ответственности за нее. Мое видение высокого уровня состоит в том, чтобы помочь людям добиться 50-кратного улучшения общих процессов за счет использования инструментов ИИ и при этом по-прежнему оставаться экспертом в широком смысле.

В одной из внутренних программ Copado мы дали девяти сотрудникам возможность vibe code-ить инструменты на базе ИИ для решения любых крупных бизнес-проблем, которые они сами выявят. Большинство пришли к одной и той же теме: им постоянно задавали одни и те же вопросы, и они хотели перестать отвечать на одно и то же дважды.

Но хотя интуиция была верной, исполнение к этому моменту еще не было готово. Они не продумали, кто будет поддерживать эти инструменты, как они будут управляться и действительно ли они связаны с бизнес-целями.

Одно дело — дать кому-то органы управления, и совсем другое — чтобы он умел летать.

Затем мы провели обучение тому, как эффективно планировать приложение — с долгосрочным взглядом на полный жизненный цикл разработки ПО — до того, как кто-либо написал хотя бы одну строку кода. Идеи приложений стали точнее, а продукты — реальными.

Группа перешла от 10 идей приложений к сфокусированному набору из семи, причем двое участников отошли в сторону, поняв, что у них пока нет проблемы, которую действительно стоит решать. Пять решений уже внедряются в разных подразделениях бизнеса: Legal создала policy bot, чтобы отвечать на вопросы HR о корпоративной политике; команда документирования создала инструмент для автоматической генерации технической документации; команда поддержки создала приложение для анализа кейсов; команда продаж создала приложение для coaching звонков, которое помогает sales development reps повышать результативность, анализируя живые звонки; а команда customer success создала приложение, которое слушает звонки и заметки, а затем автоматически суммирует все, что известно о новом клиенте на этапе внедрения.

До сих пор мы также оставили «Failure Fridays» — ежемесячное пространство, где сотрудники практикуются в отладке программ без помощи ИИ. Это помогает поддерживать базовые навыки в тонусе и гарантирует, что когда в production что-то ломается, команда действительно умеет это чинить.

Пять опор для ИИ-приложений

Для сообщества из 120 000 разработчиков Copado я теперь рекомендую внедрять эти пять опор при развертывании ИИ в проектах:

• Встраивать контрольные точки, которые оценивают результат агента по заданным стандартам до того, как процесс пойдет дальше.
• Непрерывное и автоматизированное тестирование должно работать как постоянный слой доверия, встроенный прямо в цикл разработки.
• Применять человеческое суждение в критических точках принятия решений, пока автоматизация между ними выполняет рутинную проверку.
• Единственный финальный ревью в конце процесса — это точка отказа. Нужна непрерывная валидация, чтобы ловить проблемы в момент их появления, а не после того, как они накопятся.
• Сохранять audit trails и метрики производительности, фиксирующие каждое действие агента. Ответственность означает отслеживание того, что делает ИИ, а не только того, что сдают разработчики.

Я считаю, что успех требует технических знаний и дисциплины, чтобы строить такие системы с нуля. Эти ограждения гарантируют, что ИИ работает с вами, а не против вас. Итог прост: организации, которые подходят к ИИ с учетом ответственности и знаний, достигают роста производительности в 9–10 раз, сохраняя доверие.

В Copado для нас не менее важно и то, чтобы разработчики действительно хотели принимать ИИ. Для этого мы создали программу сертификации и поощрений: новички получают бонус в $1 000 после завершения программы — инвестиция, которая дала 76% ROI по сравнению с традиционным онбордингом. Эффект был очевиден: 30 разработчиков полностью прошли онбординг всего за 30 дней, сократив типичный срок в три-шесть месяцев до небольшой доли этого времени.

Основы переживут любой цикл моды

Скорость без ситуационной осведомленности — это не эффективность. Это отложенный кризис.

Основы планирования, разработки, тестирования и выпуска — не бюрократический накладной расход. Это приборы на панели, которые показывают, где вы находитесь, что делает ваша система и что будет дальше. Потеряйте их — и вы не просто летите вслепую. Вы еще и не готовы к воздушному бою.

Когда наступает момент расплаты — сбой в production, инцидент безопасности, аудит, outage — очень быстро становится ясно, было ли у человека полное понимание ситуации или нет.

В горячем кресле окажетесь не выдуманный механизм. В нем окажетесь вы.

—

Материал — перевод статьи с английского.

Оригинал: AI needs a flight school