AWS запускает новый аналитический движок для Amazon OpenSearch, чтобы снизить стоимость лог-аналитики
Новый движок может позволить компаниям хранить больше телеметрии для соответствия требованиям и расследования инцидентов при более низкой цене, хотя миграция и отсутствие поддержки части запросов могут замедлить внедрение, считают аналитики.
AWS предлагает компаниям помочь справиться с растущими затратами на хранение телеметрии для «разговорчивых» AI-приложений с помощью нового движка для управляемого сервиса Amazon OpenSearch Service, оптимизированного для лог-аналитики. По заявлению компании, он может снизить расходы на хранение на 70% и одновременно улучшить соотношение цены и производительности.
AI-приложения и agentic-приложения генерируют больше телеметрии, чем традиционные архитектуры observability были рассчитаны обрабатывать экономически эффективно. Из-за этого предприятиям приходится балансировать между хранением операционных данных, нужных для безопасности, соответствия требованиям и реагирования на инциденты, и растущими инфраструктурными расходами.
Новый движок позволит клиентам продолжать использовать ту же консоль управления, API, модель безопасности и сетевую конфигурацию, что и у существующего general-purpose engine сервиса, при этом данные будут храниться в формате Apache Parquet, а для полей, по которым нужен поиск, сохранятся поисковые индексы Lucene, сообщили в AWS.
Для разбора и оптимизации запросов он использует Apache Calcite, после чего аналитические операции направляются в Apache DataFusion, а поисковые предикаты — в Lucene. Это позволяет выполнять поиск и аналитическую агрегацию в рамках одного запроса, написали руководители AWS в блоге.
Оптимизированный движок поддерживает SQL и Piped Processing Language (PPL), добавили они.
Как снижать затраты без потери детализации
В недавнем исследовании практик управления логами в компаниях Dynatrace выяснила, что AI-нагрузки за год увеличили объем логов на 93%, а организации в среднем исключают 86% лог-данных, чтобы контролировать затраты и емкость систем.
«Управлять растущими объемами логов, почти не увеличивая расходы, — постоянная проблема, знакомая многим компаниям», — сказал Ashish Chaturvedi, руководитель направления исследований в HFS Research.
«В большинстве случаев компании сокращают окна хранения или сэмплируют логи, и именно тогда они теряют данные, нужные для непредвиденных инцидентов», — добавил он.
Shashi Bellamkonda, директор по исследованиям в Info-Tech Research Group, сказал, что AI-агенты сломали экономику general-purpose OpenSearch: «Постоянные фоновые запросы агентов к логам не вписывались в допущения по стоимости и производительности, заложенные в исходный движок. Счет стал слишком большим. Предприятия начали намеренно ослеплять себя».
Но новый движок AWS может помочь, сказал аналитик HyperFrame Research по AI-стеку Stephanie Walter, даже если пользователи получат лишь часть обещанного эффекта.
«Более низкая стоимость хранения может означать более длинные сроки хранения, лучшую поддержку соответствия требованиям и более полные расследования инцидентов», — сказала Walter.
Более дешевое хранение также может помочь CIO сократить расползание инструментов, поскольку уменьшает стимул дробить observability-инструменты между вендорами только ради арбитража затрат, отметил Bellamkonda. «Распыление инструментов само по себе создает налог: избыточные интеграции и персонал, который нужен, чтобы поддерживать пять панелей вместо одной», — сказал он.
Миграция и совместимость могут сдержать внедрение
Однако аналитики предупредили, что для получения этих преимуществ может потребоваться больше работы, чем сначала предполагает акцент AWS на совместимости.
«AWS заявляет, что оптимизированный движок нельзя добавить к существующему domain и нельзя включить на отдельных индексах внутри general-purpose domain. Чтобы его использовать, нужно поднять новый domain и перенести в него ingestion pipelines, так что переход для инженерных команд будет сложнее, чем простой lift-and-shift», — сказал Bellamkonda.
Еще один минус нового движка, по словам Chaturvedi, — отсутствие поддержки Domain Specific Language (DSL).
Это означает, что компаниям с уже развернутыми OpenSearch-системами, построенными на DSL-запросах, или с нагрузками, которым нужны частые обновления, может потребоваться переписать dashboards, alerts и automation workflows перед переходом на оптимизированный движок, что способно увеличить сроки миграции, сказал Chaturvedi.
Именно эти особенности внедрения, а не сама технология, вероятнее всего будут сильнее влиять на темпы распространения нового движка, сказал Bellamkonda: «Трение при миграции, а не стоимость, обычно удерживает компании на инфраструктуре, которая уже переросла их потребности».
«AWS снизила трение внутри миграции, поддержав ingestion через те же Bulk API и client libraries, а значит, менять ingestion pipelines или код приложений не нужно. Однако миграцию это не убрало полностью», — сказал он. Новый оптимизированный движок для Amazon OpenSearch Service получил общий доступ.
Материал — перевод статьи с английского.
Оригинал: AWS aims to lower log analytics costs with new analytics engine for managed OpenSearch