Исследование Writer: системы памяти могут ухудшать точность AI-моделей и усиливать поддакивание
Один из главных плюсов современных AI-систем — их способность адаптироваться к пользователям. Каждый раз, когда AI-ассистент берет на себя задачу, он одновременно подстраивается под ваш стиль и предпочтения, которые затем используются как контекст для будущих задач. При большем объеме контекста и лучшем понимании пользователя модель с каждым использованием может становиться лучше — по крайней мере, такова теория.
Новое исследование показывает, что адаптивность моделей может быть палкой о двух концах. В среду исследователи AI-компании Writer опубликовали две статьи, показывающие, как популярные системы памяти могут ухудшать работу моделей, уводя их к заблуждениям или неверным трактовкам, внесенным пользователем. По мере того как пользовательский ввод заполняет все больше окна контекста модели, она становится более склонной к поддакиванию — и менее приверженной точности.
«Мы хотели понять, как часто модель будет действительно полезно учитывать предпочтения пользователя, а как часто — давать потенциально неверный ответ», — сказал Дэн Бикел, руководитель AI в Writer, работавший над статьями. Как Бикел рассказал TechCrunch, «с каждым дополнительным сохранением предпочтений пользователя и их извлечением вы увеличиваете риск».
В одном из вариантов исследования ученые зафиксировали, что любимая книга пользователя — «Station Eleven», а затем попросили модель назвать самый продаваемый роман в жанре антиутопии. Модели гораздо чаще отвечали «Station Eleven», хотя вопрос никак не был связан с любимой книгой пользователя. Эффект усиливался при использовании инструментов сжатия памяти, таких как Mem0 и Zep.
Как говорится в статье, «все системы памяти фундаментально испытывают трудности с различением релевантного контекста и нерелевантных якорей, что серьезно подрывает разнообразие и креативность и создает непреднамеренные каналы предвзятости, способные ограничивать полезность системы».
Вторая статья показывает, как тот же механизм может напрямую ухудшать результаты: пользователю задают неверные представления о финансах, а затем просят модель проанализировать показатели компании. Чем больше контекста было у модели, тем хуже она справлялась.
«При отсутствии памяти или персонализации AI-модель правильно оценивает, что компания капиталоемкая и страдает от высокой оттока клиентов», — говорится в посте. «Но если включить эти возможности, она с готовностью изменит ответ, чтобы согласиться с ошибкой пользователя, или выдаст неверный ответ, исходя из своей оценки его ранних предпочтений».
Примечательно, что исследование не рассматривало недавнюю модель Anthropic Opus 4.8, которую обучили активно возражать против ошибок во входных данных, подобных приведенным. Обнаруженные закономерности проявлялись на разных моделях. Это показывает, насколько тонко сбалансирован AI-контекст и как полезные инструменты могут иметь непредвиденные последствия, если нарушают этот баланс.
_Когда вы переходите по ссылкам в наших материалах, мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость._
Материал — перевод статьи с английского.