Не успели еще постмортем отписать по предыдущему косяку, как у нас очередной факап!
Есть у нас хранилище, которое наполняют аж 2 "контура" ETL'ей. Первый наполняет стейджинг, второй льет уже, непосредственно, из стейджинга в хранилище. Сделано это было из-за того что в ажуре сильно дешевле купить несколько маленьких баз, чем одну большую, да и копаться в куче sql-хранимок было не охота.
Сегодня мы отследили, что etl'и стейджингового слоя не справляются(сатурация больше утилизации) и решили поскейлиться. Через пару часов полетели алерты с хранилища о том, что привышен лимит по числу коннектов к базенке. Оказалось, что поскейлив роботов стеджинга мы создали доп. нагрузку на второй "контур", который стал активнее ходить в базу. Все бы хорошо, но вот размер клиентских пулов на etl'ях не был явно задан из-за чего базенку буквально закидали коннектами.
Кароч, ребятишки, Майк Нейгард не херню пишет. Желательно не только прочитать, но и следовать