Про сбои Dodo IS 1 сентября рассказывает Паша Притчин, наш СТО.

Сбой 1. Более 10 минут были недоступны сервисы Менеджер смены (МС) и Менеджер офиса (МО)

Причина

Оба сервиса находятся в монолите вместе с другими суперкритичными сервисами для бизнеса: кассами, печатью чеков и частями приёма заказа.

Все они обращаются к одной базе данных. Она ни в коем случае не должна падать от большого количества запросов, иначе мы просто не сможем принять заказы, а чеки не распечатаются.

Для части некритичных сервисов мы используем подход bulkhead: устанавливаем лимит запросов к БД. Таким образом регулируется нагрузка, БД выдерживает и продолжает обслуживать другие сервисы.

Когда МС и МО достигли предельной нагрузки, им сама система запретила ходить в базу.

Как починили

Быстрое решение — увеличить лимиты. Это помогло пережить пик в моменте.

Системное решение — оптимизировать запросы в сервисах, а ещё лучше — отпилить их от монолита, чтобы каждый ходил в свою базу.