MongoDB решает проблему retrieval для AI: память, embedding и re-ranking в одной платформе

При всех своих технических возможностях большие языковые модели (LLM) по-прежнему сталкиваются с проблемой памяти. Им может не хватать способности сохранять контекст между разговорами, и не всегда в них есть механизмы для доступа к релевантным данным, что в итоге делает результаты ненадежными и недостоверными.

Пионер NoSQL-баз MongoDB взялся за эту проблему, выпустив новые функции постоянной памяти, retrieval, embedding и re-ranking, объединенные в одной платформе. Компания также представляет новые средства безопасного подключения, open-source плагины и другие интеграции с фреймворками для поддержки agentic AI-нагрузок.

Поддержка agentic memory

Чтобы развивать автоматизированный retrieval и постоянную память агентов, компания добавляет Automated Voyage AI Embeddings в MongoDB Vector Search. Возможность уже доступна в публичном предварительном доступе.

Фрагментированные AI-стэки создают еще одну проблему. Когда разработчики с ними работают, им часто приходится платить так называемый «налог на синхронизацию», как выразился Ben Cefalo, CPO MongoDB. Чтобы сделать данные доступными для поиска агентами, разработчикам приходится соединять поисковый слой, операционные хранилища данных, встроенные модели и кэши, а затем строить сложные конвейеры данных, поддерживающие синхронизацию между системами.

Но благодаря нативной интеграции Voyage AI в Atlas MongoDB превратил «многонедельный инженерный проект в двухминутную настройку», утверждает Cefalo. Разработчики могут выпускать надежных и заслуживающих доверия агентов гораздо быстрее и проще, «без всей этой сложной data plumbing».

В развитие этой темы компания объявляет о general availability Long-Term Memory Store для LangGraph.js. Cefalo отметил, что пользователи JavaScript и TypeScript составляют крупнейшие в мире сообщества разработчиков, но прежняя интеграция компании с Python ограничивала эти группы короткоживущим и однопоточным контентом.

Теперь они могут использовать MongoDB, чтобы наделять агентов постоянной долгосрочной памятью, благодаря которой те сохраняют предпочтения и историю взаимодействий между разговорами «на том конвейере данных, которому они уже доверяют». По словам Cefalo, это подчеркивает давнюю стратегию MongoDB «run anywhere».

Введение embedding и re-ranking

Агенты должны уметь извлекать информацию с учетом контекста, а также учиться на этом процессе и оптимизировать его, при этом максимально снижая использование LLM token, отметил Johnson, потому что без стабильного и высокоточного retrieval пользователи теряют доверие.

Большинство пользователей ошибочно связывают это отсутствие доверия с LLM и думают: «пора перейти на самую новую, самую большую, самую дорогую модель», сказал он. Однако по сути это проблема retrieval: модели могут действовать только на основе той информации, которую им предоставили; если данные неточны, устарели или лишены контекста, результат в итоге окажется неверным, что может привести к потенциально «катастрофическим» бизнес-последствиям.

«Именно это мы слышим от клиентов: они воодушевлены AI agents, но опасаются выводить их к своим клиентам, если результаты непоследовательны, нерелевантны или просто неверны», — сказал Johnson.

Решение — заранее дать LLM нужную информацию; здесь и нужны модели embedding и re-ranking. MongoDB интегрирует эти технологии в семейство моделей Voyage 4, развивая направление после приобретения Voyage AI в феврале 2025 года.

Как объяснил Johnson, модели embedding преобразуют неструктурированную информацию вроде PDF, изображений, видео и аудио в векторы, которые фиксируют и отображают смысл данных и группируют связанные данные. «Так можно получить семантический поиск для вещей, которые не являются точным keyword search».

Re-rankers идут на шаг дальше. После того как embedding-модель извлекает результаты, re-rankers сравнивают их с запросом пользователя. Это дает более релевантные и обоснованные ответы. «Представьте embedding как широкую сеть, а re-ranker как того, кто вручную выбирает из нее лучшую рыбу», — объяснил Johnson.

И embedding, и re-ranking нативно интегрированы в MongoDB, поэтому корпоративным клиентам не нужно переключаться между вендорами и в итоге «собирать Frankensteining-стэк, который создает операционную головную боль», сказал он.

Johnson также подчеркнул, что решения, которые технические лидеры принимают сейчас в отношении своей data platform, либо ускорят их AI-разработку, либо отложат ее на месяцы или годы. «Это не вопрос будущего, это вопрос сегодняшнего дня, потому что успех этой разработки зависит от data platform, с которой они работают», — сказал он.

Улучшения базы данных и новые интеграции

Помимо новых возможностей памяти, MongoDB усиливает свою data foundation. Последняя версия базы данных, MongoDB 8.3, теперь доступна в общем доступе и представляет собой «глубокое архитектурное усиление» основного продукта для поддержки более быстрых AI-нагрузок при меньших затратах, объяснил Cefalo.

Query expressions, то есть инструкции для извлечения и организации данных, нативно интегрированы в MongoDB, поэтому разработчикам не нужно полагаться на внешние инструменты; логика преобразования остается внутри базы данных. «Это преобразования данных в стиле SQL для data engineers», — сказал Cefalo.

Кроме того, MongoDB объявляет об интеграции Atlas с Feast. Широко используемое open-source хранилище предоставляет AI- и LLM-приложениям структурированные данные на этапах обучения и inference. Это означает, что команды machine learning (ML) могут работать без необходимости устраивать «игру в музыкальные стулья с базами данных», когда данные приходится переносить из основной базы для обучения в отдельную систему ради real-time inferencing, сказал Cefalo.

«Это расползание баз данных не только создает операционные накладные расходы, но и порождает drift, когда модель обучается на одной версии реальности, а делает прогнозы на другой», — сказал он. Это может быть сложно и дорого и становится препятствием для масштабирования AI.

Наконец, чтобы поддержать безопасность и compliance, MongoDB предоставляет кросс-регионное подключение к MongoDB Atlas через AWS PrivateLink, который поддерживает соединение между сервисами AWS, virtual private clouds (VPCs) и on-premises сетями без передачи трафика через публичный интернет. Эта интеграция, которая теперь доступна в общем доступе, обеспечивает «единую, аудируемую модель», упрощающую compliance и сохраняющую сильную security posture для организаций, работающих в нескольких регионах, объяснил Cefalo.

Материал — перевод статьи с английского.

Оригинал: MongoDB targets AI’s retrieval problem