Предоставление релевантных ответов с учетом контекста важно для удовлетворенности клиентов. Для корпоративных AI-чатботов ключевое значение имеет понимание не только текущего запроса, но и организационного контекста, стоящего за ним. Компания-память в Amazon Bedrock, работающая на базе Amazon Neptune и Mem0, дает AI-агентам устойчивый контекст, специфичный для компании, — это позволяет им обучаться, адаптироваться и интеллектуально отвечать в серии взаимодействий. TrendMicro, одна из крупнейших в мире компаний по разработке антивирусного ПО, создала чатбот Trend’s Companion, чтобы клиенты могли изучать информацию через естественное, разговорное взаимодействие (подробнее).
TrendMicro стремилась улучшить сервис AI-чатбота, чтобы обеспечить персонализированную поддержку с учетом контекста для корпоративных клиентов. Чатбот должен был сохранять историю разговоров для непрерывности, обращаться к знаниям, специфичным для компании, в масштабе и обеспечивать, чтобы память оставалась точной, безопасной и актуальной. Задача заключалась в объединении долгосрочной памяти для организационных знаний с краткосрочной памятью для текущих разговоров при поддержке обмена знаниями на уровне всей компании. В сотрудничестве с командой AWS, включая Generative AI Innovation Center AWS, TrendMicro решила эту задачу с помощью Amazon Neptune, Amazon OpenSearch и Amazon Bedrock, как мы и раскрываем в этой статье.
Обзор решения
TrendMicro реализовала company-wise memory в Amazon Bedrock, объединив несколько сервисов AWS. Amazon Neptune хранит граф знаний, специфичный для компании, представляя организационные связи, процессы и данные, чтобы обеспечить точный и структурированный поиск. Mem0 управляет краткосрочной разговорной памятью для немедленного контекста и долгосрочной памятью для устойчивых знаний между сессиями. Amazon Bedrock координирует рабочие процессы AI-агента, интегрируясь и с Neptune, и с Mem0, чтобы извлекать и применять контекстные знания во время inference. Такая архитектура позволяет чатботу вспоминать релевантную историю, извлекать структурированные знания о компании и отвечать более точными, насыщенными контекстом ответами, заметно улучшая пользовательский опыт.
Создание и обновление памяти
Архитектура начинается с захвата пользовательских сообщений и извлечения сущностей, связей и потенциальных фрагментов памяти с помощью модели Claude в Amazon Bedrock. Затем они встраиваются с помощью Amazon Bedrock Titan Text Embed и ищутся одновременно в Amazon OpenSearch Service и Amazon Neptune. Релевантные сущности и фрагменты памяти извлекаются и обновляются через модель, после чего повторно встраиваются и индексируются обратно в OpenSearch и Neptune. Этот замкнутый цикл обеспечивает постоянное обновление воспоминаний, связанных с сущностями, а также согласованность графа знаний в Neptune с инсайтами из диалогов.
Извлечение памяти
При обработке пользовательских запросов система применяет похожий embedding-пайплайн с Bedrock Titan для поиска как по векторным представлениям в OpenSearch Service, так и по триплетам сущностей в Neptune. Затем релевантные фрагменты памяти переранжируются с помощью моделей Amazon Bedrock Rerank или Cohere Rerank, чтобы гарантировать выдачу наиболее контекстно точной информации. Такая стратегия двойного извлечения дает и семантическую гибкость OpenSearch, и структурную точность Neptune, позволяя чатботу выдавать очень релевантные ответы с учетом контекста.
Сопоставление ответа и памяти, а также feedback human-in-the-loop
Для каждого ответа AI система сопоставляет предложения с конкретными упомянутыми фрагментами памяти, формируя отчет об оценке памяти. Затем пользователям предлагается подтвердить или отклонить эти сопоставления. Подтвержденные фрагменты памяти остаются частью базы знаний, а отклоненные удаляются и из OpenSearch Service, и из Neptune. Это гарантирует, что сохраняются только проверенные и надежные знания. Такой механизм human-in-the-loop укрепляет доверие, помогает постоянно повышать точность памяти и дает корпоративным клиентам прямое влияние на уточнение знаний их AI.
Amazon Neptune в действии
Чтобы показать, как Amazon Neptune обогащает память чатбота, рассмотрим вопрос клиента: «Кто признал Хубилая правителем?». Без графа знаний AI может ответить расплывчато, например: «Хубилай был монгольским правителем, которого признавали разные группы». Такой ответ общий и лишен точности.
Когда тот же вопрос задается, но при этом запрашивается граф сущностей Neptune и помещается в окно контекста большой языковой модели (LLM), модель может опереться на структурированные триплеты вроде (Ilkhans, recognized, Kublai). Тогда чатбот может ответить точнее: «Согласно организационной базе знаний, Хубилая признали правителем илханы». Этот пример до и после показывает, как структурированные связи сущностей в Neptune позволяют модели давать ответы, которые одновременно релевантны контексту и поддаются проверке.
Заключение и следующий шаг
Как описано в кейсе AWS о Trend Micro, Trend Micro использует AWS, чтобы помогать обеспечивать более безопасный, масштабируемый и интеллектуальный пользовательский опыт. Развивая эту основу, Trend Micro объединяет Amazon Bedrock, Amazon Neptune, Amazon OpenSearch Service и Mem0, чтобы создать AI-чатбот с устойчивой памятью, специфичной для организации, который обеспечивает интеллектуальные диалоги с учетом контекста в масштабе. Интеграция графовых знаний с генеративным AI, как ожидается, улучшит качество ответов, сделает их яснее и точнее и заложит основу для AI-систем, которые будут постоянно адаптироваться к меняющимся организационным знаниям; эта работа остается на этапе оценки и настройки для дальнейшего улучшения пользовательского опыта.
В дальнейшем TrendMicro изучает будущие улучшения, такие как расширение покрытия графа, дополнительные конвейеры обновления и поддержка нескольких языков. Тем, кто хочет углубиться, рекомендуем ознакомиться с примером реализации на GitHub, где доступен написанный нами исходный код, а также с документацией Amazon Neptune для дополнительных технических деталей и идей.
Материал — перевод статьи с английского.
Оригинал: Company-wise memory in Amazon Bedrock with Amazon Neptune and Mem0