🤖 Красиво про балансировку нагрузки:

👈 Слева полный рандом

👉 Справа — выбираем случайно два сервера, смотрим где нагрузка ниже — туда отправляем запрос

Во втором случае надо знать нагрузку на серверах, сам этот запрос может дополнительно нагружать. А можно запоминать последовательность того, куда вы отправляли прошлые запросы, к примеру. Все от задачи зависит и скорости исполнения.

Зачем про это думать? Чтоб уметь делать высоко нагруженные ML сервисы по типу моего резюме-ботика. Удавалось разогнать его до 90/запросов в минуту (хотя один запрос генерируется 15 секунд 🤫)

src