💡 10 технических навыков, которые мне пригождаются, чтоб делать высоко нагруженные ML проекты.

1) Асинхронный код - чтоб не ждать ответа при запросах во вне.

2) Асинхронные API - чтоб не стопарить асинхронный код

3) Web-hook’и чтоб не тратить время на лишнее дергание API ручек.

4) Стриминг или батчинг запросов, чтоб клиентский опыт не страдал и GPU карточка во всю свою мощь работала.

5) Очередь запросов, если ML сервис свой, а не готовое API

6) Балансировщик нагрузки, чтоб контролировать размер очереди между машинами.

7) Кэширование запросов - это база, иногда спасает от лишних дерганий.

8) Сбрасывание нагрузки при додос атаках. А так же тайм-ауты на ожидание и число повторных попыток для стабильности.

9) Предзагрузка результата перед нажатием вызова.

10) Автоскейлинг числа машин при росте нагрузки.

Фотка моего бати с казахстанским трактором чисто как заглужка, пока не найду подходящую картинку.