Elastic Stack recipes

Snapshot Operations in OpenSearch

Статья хоть и не совсем свежая, но с момента ее публикации механизм создания снапшотов не изменился. Здесь описана структура хранения данных, как происходит обновление хранящихся данных и как выполняется восстановление из снапшотов.

@elasticstack_ru

Вышел Data Prepper 2.14

В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus.

🚀 Появился процессор otel_apm_service_map, который является развитием процессора service_map в части возможностей отслеживания вызовов между компонентами с течением времени. Также новый процессор автоматически генерит метрики Rate, Errors и Duration (RED).

🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция out_of_order_time_window, которая позволяет принимать и пересортировать метрики, поступающие не по порядку.

🚀 Появилась поддержка ARM-архитектуры.

🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру.

Статья в блоге OpenSearch

@elasticstack_ru

Как мы организовали работу с логами с помощью OpenSearch

В этой статье вы узнаете об использовании OpenSearch в качестве системы аналитики логов.

@elasticstack_ru

elasticsearch-labs

В этом репозитории на Github вы найдете Python notebooks, примеры приложений и другие ресурсы для тестирования платформы Elastic:

🚀 Использование Elasticsearch в качестве векторной базы данных для хранения эмбеддингов, обеспечения гибридного и семантического поиска.

🚀 Разработка сценариев: расширенная генерация поисковых запросов (RAG), суммаризация и ответы на вопросы (QA).

🚀 Примеры интегрираций OpenAI, Hugging Face и LangChain и использование Elasticsearch в качестве основы для приложений, работающих на базе LLM.

@elasticstack_ru

Гулять так гулять!

Вышел ElasticSearch 9.3

Elastic Workflows теперь доступен в режиме предварительной версии. Эта штука реализует автоматизацию рабочих процессов в Elasticsearch.

Elastic Agent Builder теперь GA. Предоставляет набор возможностей на основе искусственного интеллекта, позволяющих разработчикам напрямую взаимодействовать с данными Elasticsearch и упростить разработку пользовательских агентов ИИ.

Три модели Jina AI (jina-embeddings-v3, jina-reranker-v2-base-multilingual и jina-reranker-v3) теперь GA через Elastic Inference Service (EIS). Обеспечивают быструю, ускоренную на графическом процессоре многоязычную эмбеддинговую обработку и высокоточную переранжировку.

Ускоренная на графическом процессоре векторная индексация появилась в качестве предварительной версии. Благодаря интеграции с NVIDIA cuVS — библиотеки с открытым исходным кодом для работы на графических процессорах, векторный поиск и кластеризация данных позволяет юзерам on-prem Elasticsearch ускорить индексирование данных с помощью графических процессоров NVIDIA.

Подробности в блоге Elastic

@elasticstack_ru

Вышел OpenSearch 3.5

Не успели мы толком развернуть и насладиться 3.4, как вышла версия 3.5.

Что нового:

🚀 Расширена поддержка Prometheus для более глубокого анализа метрик (интерфейс Prometheus внутри OSD)

🚀 Улучшенная оптимизация поиска с помощью Search Relevance Workbench

🚀 Поддержка памяти агента для самообучающихся приложений (добавили ИИ-агентам постоянную структурированную память непосредственно в OpenSearch)

🚀 Повышен контроль над производительностью и эффективностью запросов (улучшен Query insights)

Подробности в блоге OpenSearch

@elasticstack_ru

How to Collect, Process, and Ship Log Data with Vector

Vector — это мощный агрегатор логов с открытым исходным кодом, разработанный компанией Datadog. Он позволяет создавать конвейеры мониторинга, легко получая логи из множества источников, преобразуя данные по мере необходимости и направляя их в нужное место назначения. Vector выделяется своей легковесностью, исключительной скоростью и эффективностью использования памяти, в основном благодаря реализации на языке Rust, известном своими возможностями управления памятью.

Если вы уже используете Vector или только планируете его использовать, обратите внимание на эту статью. Здесь разбираются практические кейсы настройки этого популярного сборщика и агрегатора данных.

@elasticstack_ru

Запись нашего сегодняшнего вебинара уже на нашем канале на Youtube! Подписка на канал горячо приветствуется👍

Все зарегистрированные участники дополнительно получат ссылку на презентации.

Вебинар по OpenSearch уже сегодня в 10 часов по московскому времени

Уже меньше, чем через час будет наш совместный вебинар с Яндекс Облаком, где мы поговорим о возможностях управляемого сервиса OpenSearch и расскажем как снизить затраты на хранение данных. Приходите!

Регистрация

Совет дня (JVM)

ElasticSearch как и OpenSearch используют JVM для своей работы, и лучшие практики рекомендуют выделять около 50% доступной на узле памяти для JVM. JVM использует память для обеспечения быстрого доступа процесса Lucene к значениям индексов. Остальные 50% остаются для кэша файловой системы, который хранит в памяти данные, к которым часто обращаются. И еще одна рекомендация — не более 30 Гб на JVM Heap, это пороговое значение на использование сжатых указателей (ordinary object pointers (oops)). В противном случае JVM будет работать неоптимально.

Ниже мы собрали несколько статей, в которых есть полезные советы по настройке и мониторингу JVM.

Elasticsearch memory usage guide

High JVM memory pressure

JVM settings

Elasticsearch Circuit Breaker Exceptions: How to Handle Circuit Breakers

@elasticstack_ru

Приглашаем вас на совместный вебинар Yandex Cloud и Галс Софтвэр, посвящённый возможностям и практическим аспектам работы с сервисом Managed OpenSearch.

📅 Дата: 2 февраля 2026 года
🕒 Формат: онлайн
🎙 Участие: бесплатное, по предварительной регистрации

👉 Зарегистрируйтесь на вебинар заранее, чтобы получить ссылку на трансляцию и материалы участников.

⚡️Спикеры вебинара:

🗣 Владислав Таболин, руководитель группы разработки Yandex Cloud, расскажет:

🚀 об архитектуре и особенностях сервиса Managed OpenSearch;
🚀 ключевых преимуществах управляемого сервиса;
🚀 сценариях использования OpenSearch в корпоративных и высоконагруженных системах;
🚀 вопросах надёжности, масштабирования и эксплуатации.

🗣Антон Касимов, основатель компании Галс Софтвэр, поделится:

🚀 методами оптимизации хранения данных в OpenSearch;
🚀 подходами к снижению затрат на хранение;
🚀 подробностями хранения данных в OpenSearch;
🚀 типичными ошибками и best practices из реальных проектов.

Кому будет полезен вебинар:

🚀 инженерам и архитекторам;
🚀 DevOps и SRE-специалистам;
🚀 руководителям ИТ-подразделений;
🚀 всем, кто использует или планирует использовать OpenSearch в продуктивных системах.

В завершение вебинара вас ждёт сессия вопросов и ответов, где спикеры разберут реальные кейсы и практические ситуации.

👉 Зарегистрируйтесь на вебинар, чтобы:

🚀 получить доступ к трансляции;
🚀 задать вопросы экспертам Yandex Cloud и Галс Софтвэр;
🚀 получить материалы и запись после мероприятия.

❗️ Будем рады видеть вас на вебинаре!

Decrease your storage costs with Amazon OpenSearch Service index rollups

В этой статье в блоге AWS рассмотрен механизм rollup в OpenSearch, который позволяет выполнять агрегацию данных в индексах для снижения объема хранимых данных. Это один из способов оптимизации.

@elasticstack_ru

Elastic Stack recipes pinned «Новый Продвинутый курс по OpenSearch 📅 Когда: 18-20 марта 2026 года 👨‍💻 Для кого: для тех, кто уже имеет опыт работы с OpenSearch и хочет углубить знания, а также улучшить кругозор в продукте. 📖 Что ждет на курсе: 🔎 День 1 🚀 Безопасность в OpenSearch.…»

Создание системы мониторинга Logstash с использованием Prometheus и Grafana (пошаговое руководство)

Мониторинг Logstash — это суровая необходимость. Есть множество вариантов, когда что-то может пойти не так. В этой статье пошаговая инструкция по настройке мониторинга Logstash при помощи Prometheus, Prometheus-logstash-exporter и Grafana.

🎓 Приходите на наш тренинг OpenSearch Advanced, где мы будем в том числе ставить на мониторинг Logstash и изучать его ключевые метрики.

@elasticstack_ru

Новый Продвинутый курс по OpenSearch

📅 Когда: 18-20 марта 2026 года

👨‍💻 Для кого: для тех, кто уже имеет опыт работы с OpenSearch и хочет углубить знания, а также улучшить кругозор в продукте.

📖 Что ждет на курсе:

🔎 День 1

🚀 Безопасность в OpenSearch. Работа с ролевой моделью. Ограничения для пользователей: настройка безопасности на уровне документов и полей документов. Аудит-лог. Интеграция с LDAP.

🚀 Распределенная архитектура OpenSearch. Кросс-кластерная репликация. Кросс-кластерный поиск. Отказоустойчивая архитектура OpenSearch. Кворум мастер-нод. Split-brain.

🚀 Продвинутые технологии репликации данных: подокументная и сегментная репликации. Разделение шардов по назначениям: индексация и поиск. Контроль рабочей нагрузки.

🚀 Доступность и восстановление. Продвинутая настройка политики ISM. Создание снапшотов и восстановление из них. Работа с searchable snapshots в хранилище S3.

🔎 День 2

🚀 Эффективная работа с данными. Оптимизация хранения данных. Типы полей. Продвинутый маппинг полей. Настройки индексов для оптимального хранения.

🚀 Загрузка данных. Работа с Vector, Logstash, DataPrepper, OpenTelemetry Collector, Ingest Pipeline. Настраиваем эффективные пайплайны и портируем пайлайны из одного ETL-инструмента в другой.

🚀 Работа с PPL, DQL и DSL. Эффективный поиск по данным.
Мониторинг кластера. Сбор ключевых метрик. Prometheus, Zabbix, Performance Analyzer.

🔎 День 3

🚀 Работа в OpenSearch Dashboards. Ролевая модель. Мультитенантность. Продвинутые визуализации. Создание PNG и PDF-отчетов.

🚀 Работа с Observability. Создание визуализаций для данных наблюдаемости (логи, трейсы, метрики). Работа с Notebooks.

🚀 Оповещения. Настройка уведомлений из OpenSearch и OpenSearch Dashboards.

Подробнее о курсе на специальной странице. Там же можно оставить заявку на обучение и узнать другие подробности. Вопросы по курсу вы можете задать по почте hello@gals.software или в телеграм @galssoftware.

Introducing resource sharing: A new access control model for OpenSearch

Начиная с OpenSearch 3.3, плагин Security дополнился системой совместного использования ресурсов и контроля доступа , которая позволяет пользователям обмениваться ресурсами с другими пользователями или ролями. Эта модель переносит авторизацию на уровне ресурсов на объекты более высокого уровня, определенные плагинами, и создает согласованный опыт совместной работы в OpenSearch.

При помощи нового механизма можно выдавать пользователям права на модели машинного обучения, отчеты или, например, детекторы аномалий. Подробности в блоге OpenSearch.

Ссылка на документацию

Вышел OpenSearch 3.4

Не успели мы опомниться от 3.3 как уже выходит новая версия.

🚀 Новый пользовательский интерфейс для агентного поиска.

🚀 Множество новых инструментов для повышения релевантности результатов поиска.

🚀 Расширенный набор  команд языка конвейерной обработки (PPL) для аналитических задач и задач мониторинга.

🚀 Значительное повышение производительности для задач агрегирования.

Подробности в блоге OpenSearch

@elasticsearch_ru

Better observability, deeper insights: OpenSearch’s new Piped Processing Language capabilities

Начиная с OpenSearch 3.3, язык конвейерной обработки (Piped Processing Language, PPL) включает новые и улучшенные возможности, упрощающие анализ логов и процессы наблюдения.

В этой статье рассмотрены новые команды и функции PPL на практических примерах распространённых сценариев использования аналитики логов. Вы узнаете, как эти улучшения помогают объединять несколько источников данных, обрабатывать неструктурированные данные логов и выполнять анализ временных рядов.

Интеграция OpenSearch: от функционального тестирования до проверки интеллекта поиска

В этой статье автор на реальном примере интеграции OpenSearch в LMS iSpring Learn рассказывает, как протестировать полнотекстовый поиск, сохранив баланс между качеством и трудозатратами. Будут разобраны не только базовые проверки, но и тестирование стемминга, релевантности, работы в распределённой системе и отказоустойчивости. Материал будет полезен тестировщикам и разработчикам, которые хотят понять, что скрывается за фразой «протестировать поиск». Читать дальше.