Параллельный запуск задач с приоритетами

Когда нужно запускать много задач, но с разным приоритетом и контролем конкуренции, можно собрать простой планировщик задач. Мы создаем: очереди: high/, normal/, low/, локи для избежания гонок, запуск задач через nice - приоритеты ядра и минимальный воркер, который берет задачи по порядку.

▪️ Структура:

queue/
  high/
  normal/
  low/
locks/

▪️ Воркер:

pick_task() {
    for q in high normal low; do
        t=$(ls queue/$q | head -n1 2>/dev/null)
        [ -n "$t" ] && echo "$q/$t" && return
    done
}

run() {
    while true; do
        task=$(pick_task)
        [ -z "$task" ] && sleep 1 && continue

        lock="locks/$(basename "$task").lock"
        ( set -o noclobber; >"$lock" ) 2>/dev/null || continue

        cmd=$(cat "queue/$task")
        rm "queue/$task"

        case $task in
            high/*)   nice -n -10 bash -c "$cmd" ;;
            normal/*) nice -n 0   bash -c "$cmd" ;;
            low/*)    nice -n 10  bash -c "$cmd" ;;
        esac

        rm -f "$lock"
    done
}

run

▪️ Добавление задачи:

echo "sleep 3 && echo DONE" > queue/high/job1

▪️ Что это дает?

- Параллельные воркеры (запусти несколько экземпляров)
- Приоритеты через nice
- Исключение гонок через простые файловые lock-и
- Очередь можно смотреть, чистить, дебажить обычными инструментами

BashTex 📱 #bash