Как положить кластер опенсёрча при помощи AI помошников и фич IDE "Алекс, у нас какая-то штука, логи в OpenSearch недоступны. да просто белая страница крутится и всё. Да, мы помним, что ты давно говорил перейти на локи, но пока нет бюджета. Глянь, пожалуйста, что там может быть, да, прайс почасовой такой же."
Да блин, я так себе мастер с опенсёрче, на этом проекте он просто дефолтный.
Файлбит собирает с кубера с дефолт конфигом и пушит в опенсёрч.
У опенсёрча 2 инстанса в кластере на продакшне.
Ок, деньги не пахнут, а за спасибо супруге новую сумку не купить🤣
Заходим в веб - да, тормозит, белая страница по дискавери.
Но статус кластер - грин, всё ок по мнению амазона😂.
Смотрим в дашборды графаны - видим 100% нагрузка CPU и она началась 15 числа (ага, можно поклянчить денег на новые алёрты ЦПУ юсадж опенсёрча).
Пробуем делать рестарт нод/дашбордов.
Получаем неожиданную ошибку
Operation disabled for domains with less than three nodes.
Ну спасибо, амазон, ну молодцы. Лллллллогика железная.
Заходим в dev tools и смотрим "а чо там".
GET _tasks?detailed=true
Ого, все запросы в среднем по 180 секунд висят.
Видим что всё упирается в опендистро
ISMПробуем не глядя (а что вы мне сделаете?)
POST .opendistro-ism-config/_forcemerge?max_num_segments=1
{
"_shards" : {
"total" : 10,
"successful" : 10,
"failed" : 0
}
}
Ждём 10 минут и.. и лучше не стало.
Запуливаем снова что там с процессами - там всё ещё всё висит.
Ок. Логи то нужны девелоперам.
Спрашиваем лида проекта "могу ли всё хард ресетнуть?". Ничего не понимая он с лицом осла из Шрека кивает и мы пуляем
PUT .opendistro-ism-config-optimized
{
"settings": {
"index.number_of_shards": 1,
"index.number_of_replicas": 1
}
}
POST _reindex
{
"source": {"index": ".opendistro-ism-config"},
"dest": {"index": ".opendistro-ism-config-optimized"}
}
Ждём 10 минут и ничего.
Ладно.
Ищем мануалы типа
https://repost.aws/knowledge-center/opensearch-troubleshoot-high-cpu
Проходим всё, и вот эта шабола показывает нам всякое
GET _tasks?actions=*search&detailed
по 50 и 52 часов пользовательские (игнорируем системные).
Ну а какие варианты -
Kill 'Em AllPOST _tasks/bDFfq7RrRyGGnzfHPBy14g:794713665/_cancel
POST _tasks/bDFfq7RrRyGGnzfHPBy14g:817036855/_cancel
Ии.. и ничего не происходит.
Опенсёрч ставит в очередь на удаление и всё.
Ждём ещё полчаса и нет результата.
Пробуем точечно и родительские и дочерние процессы кильнуть - ноль на массу.
Ну то есть по моему личному мнению по анализу запросов, дебагу и прочему я понимаю, что "подвисли" запросы по 50+ часов с 15 числа.
Убить их не удаётся. Нет, не так описал: то есть их убивает, при повторной попытке убить он пишет "already deleted" но всё равно тратит память и такты ЦПУ. Очередь на удаление на часы.
Пишем тикет в саппорт "дяденьки спасити памагити", ставим system impaired.
Спустя час вижу, что нагрузка стала меньше, 95% запросов таки убило.
Остался один максимально всратый.
Оставил его всем на сладенькое.
https://gist.githubusercontent.com/kruchkov-alexandr/3d28e37918dbf6c844c020b286a062df/raw/28a6ac4b2a5b6584c1f77ed51d2d9b3189f2344c/parasha.json
Да, я вот так же это читал и реагировал 🤣🤣🤣🤣🤣
Слегка заорал чайкой от
multi_match на 200+ вэльюсов, я отправляю коллегам с текстом are you okhueli there?!!?Получаю ответ
- "used Cursor AI and multi cursor to build it up lol"
😂😂😂
и взвизгнул гиеной на весь город, это в мемы.
Ну то есть девелопер выполнил буквально такой запрос:
https://gist.github.com/kruchkov-alexandr/bb6b2bb2ce46828e26b9c5feb6af878d
Собственно этот запроси был причиной проблемы.
Спустя 45-60 минут этот цирк заканчивается, все квери удалены, нагрузка на CPU снижается, интерфейс оживает для девелоперов.
Трекаем время (Не, ну я же ждал всё это время, да? Ждал же? Трекаем!🤣) и закрываем таску.
Закрываем таску в саппорт амазона, на 3 часа так и не ответили ничего, даже ассайна не было с систем импайрд, ну ладно.