ИИ-стратегия может приучать сотрудников переставать думать
При всей своей пользе generative AI в целом производит много мусора.
Но сотрудники все сильнее полагаются на этот «workslop», который маскируется под качественный материал, говорится в недавнем блоге Harvard Business Review. Из-за этого люди становятся более ленивыми и менее продуктивными, контроль качества выходит из-под контроля, а честность и доверие начинают размываться.
Эксперты призывают компании действовать сейчас, пока они не потеряли управление полностью.
«Когда “slopification” происходит в масштабе и последовательно во всех процессах бизнеса, сами эти процессы — и их результаты — начинают деградировать», — пишут Matthias Holweg, профессор Saïd Business School Оксфордского университета, и аналитик Thomas H. Davenport. «В конце концов люди начинают терять доверие к процессам, на которые полагаются в своей работе».
Этот феномен на уровне организации они называют «knowledge decay».
Три ключевые проблемы
Holweg и Davenport выделяют три ключевые проблемы, которые нужно решать в работе с AI-generated content на рабочем месте, чтобы не допустить knowledge decay: verification, validation и entropy.
Verification требует «развязать» подлинный человеческий контент и контент, сгенерированный AI и потенциально содержащий грубые ошибки, отмечают они.
Это может занимать много времени и требовать критического мышления и дополнительного исследования, а во многих случаях усилия нивелируют выгоды от использования AI. Например, при найме, помимо использования AI для написания резюме и CV, а также подгонки промптов под алгоритмы ранжирования, чтобы подняться выше в очереди, некоторые кандидаты идут на хитрость и скрытно используют AI, чтобы в почти реальном времени генерировать ответы на вопросы интервью.
В совокупности это может приводить к тому, что на собеседования проходят кандидаты ниже уровнем или просто не подходящие организации. В результате рекрутерам приходится тратить больше времени на очные интервью, где доступа к AI нет, утверждают Holweg и Davenport.
Еще одна проблема — knowledge validation: нужно подтверждать, где и как люди действительно добавили ценность, когда AI используется в workflow. Например, консалтинговая фирма может легко использовать AI для создания стандартных письменных отчетов и слайдов PowerPoint, в то время как клиенты платят за экспертные человеческие выводы.
«Экспертам-людям теперь приходится доказывать не только качество представленного результата, но и то, что за ним стоит реальная интеллектуальная работа человека», — подчеркивают Holweg и Davenport.
Наконец, knowledge entropy — это «рискованная игра в испорченный телефон на основе AI»: по мере того как знания снова и снова проходят через AI в итеративном процессе, они все дальше уходят от исходных данных ground truth, которые использовались для их создания, отмечают авторы.
«Чем больше итераций контента проходит через LLM, тем сильнее он отклоняется от исходника», — пишут Holweg и Davenport. LLM — это вероятностные, «нечувствительные к контексту» статистические модели, которые выдают результаты на основе предсказания следующего слова. У них «нет представления о факте или истине, и они просто предсказывают наиболее вероятные ответы», пишут авторы.
А когда в некоторых случаях large language models (LLM) обучают на synthetic data, созданных другими моделями, возникают еще более серьезные проблемы. Если такие искусственно созданные данные затем снова и снова прогоняются через модель, это может повлиять на ее accuracy и variability. Это называется «generative inbreeding» или model collapse.
Шаги, которые компании могут предпринять, чтобы предотвратить AI slop
Поэтому двое экспертов выступают за «фундаментальный сдвиг» в том, как архитектурно устроены модели, а также за введение явных правил их использования.
Естественно, один из первых и, возможно, самых трудных шагов — ограничение использования AI сотрудниками: его следует применять только в сценариях, где он действительно добавляет ценность, советуют авторы.
Например, когда сотрудникам или кандидатам на работу разрешают свободно оформлять свои CV, они, скорее всего, будут использовать generative AI, чтобы «оптимизировать» свою работу. Чтобы не допустить knowledge decay, рекрутерам следует опираться на структурированные документы, которые требуют фактических ответов, которые AI не может сгенерировать, например спрашивать кандидата о конкретной роли, выполненных проектах, участниках команды, обслуживаемых поставщиках и управляемых бюджетах.
Когда использование generative AI разрешено или его невозможно предотвратить, организации должны определять, какую ценность оно добавляет, и четко понимать последствия, подчеркивают Holweg и Davenport. «Контент не обязан быть полностью создан человеком, но если используется AI, нужно ясно объяснять почему и как», — пишут они.
В одном из полезных сценариев AI, такой как Copilot или Gemini, встроенный в стандартное офисное ПО, делает практически бессмысленным ручное создание новых версий контента отчетов и слайдов PowerPoint, пишут Holweg и Davenport.
В другом примере при оценке эффективности менеджеры могут собрать конкретную и детальную информацию от членов команды и клиентов, а затем использовать AI для ее синтеза, а не генерировать «tick-box report» из общих пунктов.
Компании также должны учитывать, как индивидуальное использование AI влияет на общий процесс. Например, в межорганизационном потоке, таком как revenue cycle, все участники должны знать и соглашаться с тем, как AI будет использоваться и на каких этапах процесса. Вопрос не в том, лучше ли AI выполняет ту или иную задачу, как это все чаще бывает в некоторых сценариях, а в том, не берет ли он на себя задачу ради повышения эффективности, пишут Holweg и Davenport.
В конечном счете, однако, они считают, что публичные LLM дают «мало или вовсе никакой реальной ценности», потому что они универсальны и часто содержат ошибки. С другой стороны, small language models (SLM) и проприетарные модели, обученные на данных компании, могут дополнять человеческую работу.
С архитектурной точки зрения компании должны отслеживать историю как структурированных, так и неструктурированных данных и понимать информацию ground truth. Материалы вроде интервью с клиентами дают важные факты, эмоции и контекст; если AI используется для их изменения или суммирования, компаниям необходимо идентифицировать и фиксировать базовые данные ground truth и указывать ссылку на проверяемый, подлинный контент.
В итоге, подчеркивают Holweg и Davenport, компании должны уже сейчас выработать прагматичные практики, чтобы не повторить ошибки прошлого.
«Если мы не сумеем справиться с неконтролируемым распространением generative AI в наших бизнес-процессах, мы, вероятно, увидим повторение “парадокса производительности”, наблюдавшегося с ростом корпоративных вычислений полвека назад», — пишут они.
Сочетание «human capital» и «token capital»
Другие эксперты также согласны с важностью сочетать лучшее в людях с лучшим в AI.
Генеральный директор Microsoft Satya Nadella описывает эту модель как объединение «human capital» и «token capital». Первое — это человеческие «знания, суждения, отношения, изобретательность и распознавание образов», а второе — встроенные и принадлежащие компании возможности AI. Возможность заключается в том, чтобы объединить эти две составляющие в обучающем цикле.
Nadella отметил: «Каждый улучшенный workflow формирует более качественный training signal, который ускоряет накопление неявных знаний, уникальных для компании».
Материал — перевод статьи с английского.
Оригинал: Your AI strategy may be training employees to stop thinking