Microsoft представила Memora для решения проблемы памяти AI-агентов

Исследовательский проект обещает более эффективное долгосрочное запоминание за счет организации знаний вокруг абстракций и поиска по подсказкам вместо сырой истории диалога.

По мере того как от AI-агентов все чаще ждут, что они будут помнить разговоры, предпочтения и решения в течение длительного времени, Microsoft Research разработала Memora — систему памяти, призванную обеспечить более масштабируемое и надежное долгосрочное запоминание, чем существующие подходы.

AI-агенты все чаще должны сохранять контекст на протяжении недель или месяцев, а не только в рамках одного чата. Память может фрагментироваться, из-за чего появляется дублирование информации и замедляется поиск по мере роста объема знаний.

По словам Microsoft, Memora решает эту проблему, разделяя то, что AI запоминает, и то, как он находит эту информацию. В итоге система может сократить использование контекстных токенов до 98% и при этом сохранять точность на уровне полного контекста или выше, утверждает Microsoft Research в записи в блоге.

Ограничения современных архитектур памяти

По мере того как AI-ассистенты и автономные агенты переходят к длительным сценариям работы, отсутствие принципиальной системы памяти становится критическим узким местом. Хотя современные LLM — мощные системы рассуждения, они по-прежнему начинают каждый сеанс с нуля.

Длинные диалоги требуют от моделей снова и снова перечитывать всю историю, а новая информация либо хранится в виде сырого текста, либо сжимается в сводки, где могут теряться важные детали.

Существуют решения для этой задачи, но и у них есть ограничения. Например, системы вроде Mem0 извлекают из разговоров атомарные факты, подходы retrieval-augmented (RAG) индексируют фрагменты сырого текста для последующего воспоминания, а графовые системы памяти вроде Zep и GraphRAG задают структуру через связи между сущностями. Но в основном все они попадают в две крайности.

Системы фрагментации контента, такие как RAG и Mem0, встраивают извлеченные факты или фрагменты текста напрямую. Это сохраняет детали, но приводит к хрупким, изолированным записям, которые теряют связность повествования.

Системы грубой абстракции сжимают опыт в компактные сводки, но убирают ограничения, пограничные случаи и числовые детали, которые и делают память полезной.

Графовые системы добавляют структуру поверх контента, но по-прежнему опираются на сам контент при поиске и обычно требуют жестких онтологий, которые плохо масштабируются между доменами.

Разделение памяти и поиска

Архитектура Memora, как утверждается, решает эту проблему, разделяя то, что хранится, и то, как это извлекается. Для этого каждая запись памяти будет состоять из двух частей.

Первая — primary abstraction, короткая фраза из 6–8 слов, которая будет отражать, о чем память в своей сути. Вторая — memory value, где будет храниться богатое содержимое. Благодаря такому разделению новая информация по развивающейся теме будет объединяться в существующую запись под той же primary abstraction и не будет дробиться на цепочку частичных дублей.

В дополнение к primary abstractions, cue anchors — это короткие контекстные теги, извлекаемые из memory value и дающие альтернативные пути доступа к той же памяти. По словам Microsoft, они будут работать как гибкие, органически формируемые метаданные.

Memora также использует policy-guided retriever, который не просто возвращает top-k семантически похожих элементов за один проход, а итеративно уточняет запрос, расширяется через cue anchors, чтобы находить связанные, но не похожие воспоминания, и сам решает, когда остановиться.

«Самый глубокий изъян текущей памяти агентов в том, что она путает поиск с памятью. Vector store отлично находит текст, который выглядит релевантным. Enterprise-агенту нужно больше, чем сходство. Ему нужно понимать, что изменилось, что по-прежнему верно и что вообще не следует извлекать в рамках задачи», — сказал Sanchit Vir Gogia, главный аналитик Greyhound Research.

Memora интересна именно тем, что отказывается от такого упрощения, отметил Gogia. Она отделяет богатую детализацию памяти от механизма ее поиска, индексируя стабильную абстракцию и набор cue anchors, при этом сохраняя полный контент под ними. Тогда извлечение становится скорее навигацией, чем единичной удачной попыткой: система повторно формулирует запрос, расширяет поиск или останавливается, когда уже достаточно данных, добавил он.

Оценка Memora в бенчмарках

Microsoft протестировала Memora на двух длинноконтекстных бенчмарках: LoCoMo, где средняя длина диалога составляет 600 ходов, и LongMemEval, где используются контексты длиной 115 000 токенов. По данным компании, Memora показала 86,3% точности LLM-judge на LoCoMo и 87,4% на LongMemEval, опередив RAG, Mem0, Nemori, Zep, LangMem и даже full-context inference.

Она также сохраняла почти вдвое меньше записей памяти на один разговор, чем Mem0: 344 против 651, — при этом снижая расход токенов до 98% по сравнению с full-context inference.

Хотя результаты бенчмарков указывают на заметный выигрыш в эффективности, компаниям не стоит автоматически считать, что меньший расход токенов означает такие же низкие инфраструктурные затраты.

Gogia призвал не воспринимать цифру сокращения токенов буквально. Это уменьшение контекста в бенчмарке, а не обещание, что счет предприятия снизится на 98%, сказал он. «Реальная стоимость включает также построение памяти, индексацию, хранение и аудит-логирование, которое требует governance».

Он предупредил, что самый сильный режим извлечения в Memora одновременно и самый медленный. Ее policy retriever работает примерно от пяти до шести секунд на запрос из-за нескольких шагов вызова модели, тогда как более простой семантический режим укладывается меньше чем в секунду.

Экономия на prompt tokens частично компенсируется задержкой извлечения и дополнительным inference. Поэтому проблема памяти не исчезает, а просто перемещается. Вместо оплаты только более длинных промптов предприятиям теперь нужно управлять тем, что записывается, обновляется и забывается, а также индексированием и тестированием, которые этим процессом управляют.

Что это значит для enterprise

Сейчас Memora — активный исследовательский проект Microsoft Research, однако компания выложила research code на GitHub, что позволяет разработчикам экспериментировать с архитектурой и адаптировать ее для собственных AI-приложений.

Однако переносимость на бумаге не следует путать с готовностью к production. Хотя memory layer такой конструкции в принципе может работать поверх моделей любого крупного провайдера, Gogia считает, что до тех пор, пока код не станет полностью проверяемым, поддерживаемым и пригодным для enterprise-контроля, IT-руководителям разумнее изучать Memora как архитектуру, а не внедрять ее как программный продукт.

Помимо технологии организациям понадобятся политики governance и compliance, чтобы обеспечить безопасное управление AI memories и их аудитоспособность. По его словам, предприятие должно определить, кто может записывать в память, кто может читать, как долго она хранится и как аудитор восстанавливает, почему память повлияла на действие.

«Предприятие должно решить, кто может записывать в память, кто может читать, как долго она хранится и как аудитор восстанавливает, почему память повлияла на действие. Фраза “агент это запомнил” не удовлетворит регулятора в рамках требований по traceability в European Union’s AI Act, как и клиента в рамках India’s Digital Personal Data Protection Act», — сказал Gogia.

Материал впервые опубликован на InfoWorld.

Материал — перевод статьи с английского.

Оригинал: Microsoft unveils Memora to tackle AI agents’ memory problem