Bash-скрипт на максималках: как работает менеджер задач для управления 300 скриптами

В какой‑то момент суммарное время работы скриптов стало неподобающим — задача заканчивалась, условно, к обеду следующего дня, в то время, когда нам нужно было к утру.

Эта статья — о том, как «проклятье масштаба» оказалось алгоритмической задачей; решение — получилось благодаря принципам обхода ориентированных графов; а запаса прочности решения хватило, чтобы с момента появления на протяжении лет не требовалось дополнительных ресурсов и каких‑либо доработок.

P.S. В комментариях совершенно справедливо обратили внимание на популярный Apache Airflow и Dagster.

🔎Расскажите здесь в комментариях кто чем пользуется для автоматизации контроля запуска скриптов.

@usr_bin_linux