​Вышел OpenSearch 2.10

Мы непрерывно следим за обновлениями OpenSearch и вот уже вышла новая версия. Отличный темп и интересный функционал. По нашему мнению, отделение OpenSearch в полностью отдельную ветку пошло ему на пользу. В этом посте разбираемся что нового там появилось и анонсируем курс по OpenSearch 9-11 октября.

⚡️Удаленное хранилище для резервирования данных

В OpenSearch 2.10 появилось удаленное резервное хранилище, которое представляет собой альтернативу снапшотам или копиям реплик. Функционал дает возможность автоматически создавать резервные копии всех транзакций по каждому индексу на удаленном хранилище с использованием облачных сервисов по выбору (включая S3).

Удаленное хранилище интегрировано с репликацией сегментов OpenSearch. Это позволяет выбрать удаленное хранилище в качестве источника для репликации. А еще, в этом релизе репликация сегментов и индексов на удаленном хранилище поддерживает различные версии Lucene, что необходимо для rolling updates.

⚡️Повышение релевантности поиска

В OpenSearch 2.9 в GA перешли нейронный поиск и поисковые конвейеры. В 2.10 эти инструменты дополнены процессором нормализации и функцией гибридных запросов. Теперь можно повысить релевантность поиска, комбинируя оценки релевантности лексических запросов с векторными поисковыми запросами k-NN на основе естественного языка.

⚡️Доступ и анализ большего количества логов в Security Analytics с помощью пользовательских типов логов

С момента выпуска OpenSearch Security Analytics в инструментарий была добавлена поддержка ряда популярных источников логов безопасности. В этом релизе в OpenSearch учли пожелания коммьюнити, добавив пользовательские типы логов. Новый CRUD API позволяет определять собственные типы логов и использовать их так же, как и другие логи — для создания детекторов, пользовательских правил, дополнительных сопоставлений и т.д.

⚡️Превращение данных в выводы с помощью нового Discover

В релизе 2.10 улучшено удобство использования и значительно обновлен бэкенд инструмента Discover в Dashboards. Теперь есть возможность использовать как новую версию инструмента Discover, так и предыдущую. Предполагается, что новая версия будет использоваться по умолчанию начиная с OpenSearch 2.11.

⚡️Обогащение данных GeoIP

В этом релизе появился новый способ обогащения данных географической информацией. С помощью нового процессора IP2Geo OpenSearch может получать информацию о географическом положении IPv4- или IPv6-адреса и добавлять ее в поступающие данные во время их записи или обогащать данные позднее. Ранее OpenSearch получал географические IP-адреса из статической базы данных, которая могла устаревать. В этом процессоре доступ к актуальным географическим IP-адресам осуществляется из внешних баз данных, предоставляемых компанией MaxMind.

⚡️Повышение производительности поиска с помощью параллельного поиска по сегментам

При стандартном подходе OpenSearch выполняет поисковые запросы последовательно по всем сегментам на каждом шарде. В экспериментальной версии функции параллельного поиска по сегментам появилась возможность параллельного запроса к сегментам индекса на уровне шарда. Это снижает задержку для многих типов поисковых запросов, например, для длительных запросов, содержащих агрегированные данные или большие диапазоны.

Release Notes

OpenSearch Playground (песочница)

Загрузить новую версию

❗️Приглашаем вас на обновленный курс по OpenSearch, который состоится 9-11 октября. Программа курса по ссылке. Вопросы можно задать @galssoftware либо на почту welcome@gals.software.