Полтора месяца назад вышел OpenSearch 2.9

Ключевое: обновление инструментария ML, обновления по части работы с событиями по ИБ, обновления визуализации геоданных и улучшенное сжатие данных для повышения производительности и уменьшения размера индексов.

Улучшения в поиске при помощи поисковых конвейеров. Поисковые конвейеры включают в себя три встроенных процессора: filter_query, rename_field и script request, а также новые API, ориентированные на разработчиков, позволяющие создавать собственные процессоры.

Семантический поиск стал проще. В OpenSearch 2.4.0 появилась экспериментальная функциональность нейронного поиска. С версии 2.9.0 нейронный поиск перешел в статус GA. Этот инструмент позволяет векторизовать документы и запросы, чтобы осуществлять поиск по преобразованным векторам с использованием алгоритма k-NN. Теперь можно объединить лексический поиск BM25 с семантическим поиском на основе глубокого обучения для повышения релевантности поиска.

Интеграция и управление моделями ML в кластере OpenSearch. ML-фреймворк, выпущенный в 2.4.0 в качестве экспериментальной функции, позволяет загружать собственные модели ML в OpenSearch, поддерживая модели с текстовым вложением из таких инструментов как PyTorch и ONNX. В рамках подготовки фреймворка к переходу в GA в OpenSearch 2.9.0 также введено управление доступом к ML-моделям. Эта функция позволяет администраторам управлять доступом к отдельным моделям, интегрированным в фреймворк.

Интеграция ML-моделей, управляемых извне. В OpenSearch 2.9.0 расширена функциональность ML-фреймворка, позволяя создавать коннекторы к сервисам искусственного интеллекта и ML-платформам. Эти коннекторы позволяют пользователям использовать модели, размещенные на подключенных сервисах и платформах. В качестве примера такой возможности в релиз 2.9 включен коннектор для моделей, размещенных на Amazon SageMaker. В ближайшее время будут опубликованы коннекторы для Cohere Rerank и OpenAI ChatGPT.

Расширение поиска за счет усовершенствования векторных баз данных. В этом релизе реализация k-NN поддерживает предварительную фильтрацию для запросов, использующих механизм Facebook AI Similarity Search (FAISS). Теперь можно фильтровать запросы с помощью метаданных до выполнения поиска ближайших соседей в k-NN-индексах, построенных с помощью FAISS. Это обеспечивает более эффективный k-NN-поиск и более высокую производительность. Ранее OpenSearch поддерживал предварительную фильтрацию только для индексов Lucene.

Еще одно обновлением в OpenSearch k-NN — поддержка векторов Lucene размером в байт. Теперь пользователи могут получать и использовать векторы, квантованные до размера одного байта на измерение вместо четырех. Это снижает требования к объему памяти для загрузки, сохранения и выполнения векторного поиска, но при этом потенциально снижает точность.

Создание мониторов и детекторов в OpenSearch Dashboards. Теперь можно видеть оповещения и аномалии наложенными на основные дашборды. Пользователи также могут создавать мониторы оповещений или детекторы аномалий непосредственно из своих визуализаций.

Комплексные мониторы для получения более содержательных оповещений. В версии 2.9.0 появились комплексные мониторы. Они позволяют объединять оповещения, генерируемые несколькими отдельными мониторами, в единое целое. Пользователи получают уведомления при выполнении условий срабатывания всех мониторов. Это позволяет анализировать источники данных по нескольким критериям и получать более детальную информацию о них.

Продолжение в следующем посте.