Elastic Stack recipes

​И немного о настройке интеграции Elasticsearch с SQL Server

Let’s Data Transfer from Sql Server to Elasticsearch using Logstash

With this article, I will try to explain how we can get data from Sql Server to Elasticsearch using Logstash on windows.

https://link.medium.com/FObfyOyo3ob

​В принципе, даже понятно почему так часто бывают утечки из кластеров Elasticsearch. Обратите внимание, при разворачивании Elasticsearch в docker-контейнерах, если ничего не сделать, docker залезет в ваш iptables и откроет доступ к порту 9200 из внешней среды. Это не очень страшно если ваш сервер во внутреннем контуре, но если во внешнем, рано или поздно ваш открытый кластер будет обнаружен. Синк эбаут ит.

Вот парочка статей на тему:

Be careful with Docker ports!

Securing Your ElasticSearch Instances

Synonym Search in Elasticsearch and Alternatives — поиск синонимов в Elasticsearch. Ссылка.

Рубрика «Удивительное рядом». И никто не знает чей. И как там появляются новые записи.

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

В сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков. Читать дальше.

Investigate Log4Shell exploits with Elastic Security and Observability — в этой статье в блоге Elastic пример реализации поиска уязвимости Log4Shell при помощи модулей Observability и Security. Эти модули доступны и в бесплатной версии Elastic, поэтому использовать их можно совершенно свбодно.

В связи с приостановкой поставок в РФ таких известных APM-решений как Appdynamics или Dynatrace, возможности Elastic APM будут как нельзя кстати.

​Migrating MySQL Data to ElasticSearch Using Logstash

Подход к миграции из MySQL в Elasticsearch для повышения скорости поиска по данным. Ссылка.

Elastic 8.0: A new era of speed, scale, relevance, and simplicity

Ждали, ждали и дождались. Что нового?

16-18 февраля проведем 3-дневный вводный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Подробная программа, условия и на нашем сайте. Вопросы можно задать @galssoftware

​How to Quickly Setup an ELK Stack and Elastic Agent to Monitor macOS Event Data

Читать на Медиуме.

Короткая статья об опыте обновления 10 нод Elasticsearch. Полезно на волне новостей об уязвимостях log4j.

Короткая статья о нечетком поиске в Elasticsearch

https://medium.com/@vipulkumar_36528/fuzzy-query-in-elastic-search-393c8db7c496

ElasticSearch — как мы делали свою речевую аналитику

Мы в TQM используем Elastic потому, что он гибкий, широко известный, имеет удобный и простой синтаксис, множество библиотек для работы как на Python, так и на C# (NEST). Хорошо скейлится под наши объемы (1—30 Тб).Kibana также очень удобна, мы используем ее для мониторинга, консоль Kibana применяем для запросов. А еще по сравнению с тем же Sphinx, Elastic удобно масштабировать (просто добавляем шарды, ноды, и он сам распределяет данные по ним). В случае с тем же Sphinx нам пришлось бы писать этот распределенный поиск самим, и не факт, что у нас получилось бы хорошо с первого раза. На Хабр!

Как мы логшипим в Elasticsearch и что думаем о Filebeat

Привет, я - Эдгар, backend-разработчик личного кабинета МегаФон, поделюсь решением проблемы log shipping-процесса в централизованное хранилище Elasticsearch, которое мы нашли вместе с командой. На Хабр!

​Только Elastic Stack и ничего лишнего

Приглашаем на ближайшее 3-дневное обучение Elastic Stack. Обучение будет проходить 20-22 декабря в онлайн-формате через Zoom.

Каждый день обучения состоит из блоков теории и практики. Мы пройдем путь от установки отказоустойчивого кластера Elasticsearch до настроек продвинутых визуализаций в Kibana, разберемся с сайзингом кластера, настроим оповещения, создадим снэпшоты на хранилище S3 и отключим одну из нод, чтобы увидеть что произойдет с кластером. На курсе также подробно разбирается тема Index Lifecycle Management (ILM).

Для лабораторных работ мы подготовили интересные датасеты с хитами чарта Rolling Stones, героями игры Heroes of Might and Magic 3 и другими. За 3 дня вы научитесь проектировать и разворачивать отказоустойчивый кластер Elasticsearch, создавать информативные визуализации в Kibana и формировать комплексные ingest-pipelines.

Подробная программа курса на нашем сайте. Места ещё есть.

​Lamoda интересно рассказывает об устройстве своего поиска.

Вы «продоете теплых кросовок»: ищем идеальную пару обуви с помощью Elasticsearch

В этой статье мы расскажем:

⚡️ что находится «под капотом» поиска в Lamoda;

⚡️ как мы понимаем пользователей и разбираем поисковые запросы;

⚡️ как обогащаются атрибуты товаров и по какой логике формируется запрос к Elasticsearch;

⚡️ над чем работаем сейчас и какие есть планы на будущее.

Читать дальше на Хабре.

Elasticsearch Indexing Strategy in Asset Management Platform (AMP)

В блоге Neflix рассказывают как они работают с 7Тб хранилищем.

​Онлайн-калькулятор для расчета сайзинга кластера Elasticsearch. Основан на формулах из нашей статьи о сайзинге Elasticsearch на Хабре.

​Hazelcast + Kibana: лучшие друзья для исследования и визуализации данных

Интересный кейс визуализации данных по изменениям в Википедии в Kibana. Читать на Хабре.

День Эластика в России и СНГ

Приглашаем вас на онлайн-мероприятие 14 декабря в 14 часов по московскому времени. Будут выступать как представители Elastic так и конечные пользователи. Подробная программа и регистрация по ссылке.