Elastic Stack recipes

Курс по поиску в ElasticSearch/OpenSearch

Мы готовим курс по поиску и подготовили программу тренинга. Тренинг будет длится два дня и охватит максимально подробно тематику поиска, агрегаций, создание оптимального индекса для поиска, формирование релевантности и многого другого.

Хотелось бы у вас узнать, есть ли интерес к такому курсу и, возможно, вы сможете предложить свои темы, которые хотели бы рассмотреть в курсе. Мы уже подготовили предварительную структуру:

Описание курса ElasticSearch/OpenSearch Поиск

Если вы или ваши коллеги хотели бы принять участие в курсе или хотели бы предложить свои темы в курс, напишите, пожалуйста, нам в @galssoftware.

Планируем проведение этого тренинга в июле-августе.

Заранее большое спасибо за обратную связь!

Star-tree индексы — технология, которая предварительно вычисляет агрегации в OpenSearch. Функционал появился начиная с версии 2.18 и пока находится в экспериментальном формате. Если вы активно используете агрегации в работе, рекомендуем обратить внимание на эту технологию. Можно использовать только для неизменяемых индексов (подойдет для логов). Однако, есть и другие ограничения.

На приложенном изображении сравнение времени на выполнение агрегаций при традиционном способе и при помощи star-tree. Преимущество налицо.

Статья в блоге OpenSearch

Подробности в документации

Вышел Data Prepper 2.11

Улучшения в основном консулись импорта данных из OTel. Как нам кажется, возможности Data Prepper многие недооценивают. А ведь там есть много интересного, в частности, агрегация собираемых данных.

Это просто праздник какой-то! Вслед за Elastic и его релизом версии 9.0, OpenSearch также объявил о релизе версии 3.0.

Пишут, что работает в 9,5 раз быстрее, чем OpenSearch 1.3 при поиске по ключевым типам запросов. Под капотом 3.0 работает Lucene 10, что привносит дополнительную производительность в частности для векторного поиска. А еще OpenSearch научили работать по модели pull. Это означает, что он теперь может сам затягивать данные, например, из Kafka.

Статья в блоге с описанием нововведений

Песочница

Заметки к выпуску

Скачать OpenSearch

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в июне — отличный способ прокачать скиллы в начале лета!

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации. А еще интенсивы лучше многомесячных тренингов, когда к середине курса улетучивается желание учиться.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в июне:

▶️ Программа ElasticSearch 2-4 июня

▶️ Программа OpenSearch 9-11 июня

Тренинг состоит из теоретической и практической части. Для практической части мы предоставляем лабораторные стенды. Оставить заявку, узнать стоимость обучения и другие детали можно через бот @gals_education_bot. Также заявку можно оставить через форму обратной связи на соответствующей странице тренинга (выше) либо написать на почту welcome@gals.software.

Прочитайте как в МТС управляют кластером OpenSearch на 400 Тб и из чего он состоит.

С чем вас и поздравляем!

Elastic 9.0 под капотом имеет Lucene 10.0, что знаменует собой действительно крупное обновление Elasticsearch, платформы Elastic Search AI и основных решений — Elastic Observability и Elastic Security. Этот релиз более производителен и эффективен благодаря встроенным улучшениям Lucene 10.0, таким как улучшенный параллелизм, более умное индексирование и аппаратная оптимизация.

Для тех, кто (пока) не готов расстаться 8 релизом, у Elastic есть новости: они перенесли многие (но не все) новые функции из 9.0 в версию 8.18.

Подробнее о новинках в версиях

OpenSearch as a SIEM Solution

Может вы знали, а может и нет, но в OpenSearch есть встроенный пакет аналитики безопасности (Security Analytics), который предоставляет возможности SIEM для расследования, обнаружения, анализа и устранения угроз безопасности в режиме реального времени.

В блоге OpenSearch есть небольшое overview по возможностям решения в области беопасности.

​В это сложно поверить, но ElasticSearch в этом году 15 лет (а библиотеке Lucene 25 лет)

Более 1,45 млрд загрузок, 83000 коммитов от 2400 уникальных контрибьюторов.

Пост с ключевыми вехами в блоге Elastic

​В этой статье рассмотрено, как на базовом уровне интегрировать Elasticsearch в Laravel, используя Docker и PHP-библиотеку elasticsearch/elasticsearch. Весьма себе прикладное использование Elastic.

​Прочитайте интересную статью на Хабре о том, как устроена архитектура Elastic в Контур Диадок (это сервис для ЭДО). Рассказывают как они оптимизировали поиск.

Opensearch, Logstash и dynamic mapping

В этой статье рассказано о том, как в Домклик настроен маппинг в индексах Opensearch и какие «фишки» они используют, чтобы минимизировать работы по настройке маппинга.

​Сравнение Битрикс-Sphinx vs Elasticsearch для поисковых задач

Статья хоть и написана в основном во славу Elasticsearch, но позволяет проанализировать некоторые интересные особенности работы Битрикс на базе встроенного Sphinx.

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в декабре — отличный способ прокачать скиллы под конец года

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в декабре:

▶️ Программа OpenSearch 16-18 декабря

▶️ Программа ElasticSearch 23-25 декабря

Заявку можно оставить через форму обратной связи на соответствующей странице либо написать @galssoftware.

​BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска, который по умолчанию применяется в Lucene/Elasticsearch. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. В этой статье разобрано как устроен тот самый полнотекстовый поиск в Elasticsearch/Opensearch.

Как все устроено

​Переезд с Elasticsearch на OpenSearch: рассказываем про нюансы и архитектуру нашей системы логирования

В этой статье на Хабре рассказано почему в cloud.ru решили выполнить миграцию, какие ключевые отличия между системами они нашли и подробно описана архитектура обработки логов.

​Gain deeper insights with OpenSearch Query Insights

Инструмент OpenSearch Query Insights предназначен для того, чтобы дать представление об эффективности поисковых запросов, помогая выявлять узкие места и оптимизировать производительность. Query Insights собирает и анализирует данные о производительности каждого запроса. В этой статье в блоге OpenSearch разбирают работу этого инструмента.

Некоторое время назад вышел OpenSearch 2.17 (пост в блоге OpenSearch от 17 сентября)

Заметки к выпуску

Загрузка

OpenSearch Playground