IT предприниматель и препод 🧑🏫
ex-ML лидер в Dodo Brands 🦤🍕
Прокачиваю людей в Data Science 🚀
Победитель Stepik Awards 🏆
Kaggle Expert 🤹♀️
Создатель mnogo-reels.ru и @big_llm_course
РКН https://clik.now/datafeeling
Алерон @Ale_v2
Post #861
6.28K
💡 10 технических навыков, которые мне пригождаются, чтоб делать высоко нагруженные ML проекты.
1) Асинхронный код - чтоб не ждать ответа при запросах во вне.
2) Асинхронные API - чтоб не стопарить асинхронный код
3) Web-hook’и чтоб не тратить время на лишнее дергание API ручек.
4) Стриминг или батчинг запросов, чтоб клиентский опыт не страдал и GPU карточка во всю свою мощь работала.
5) Очередь запросов, если ML сервис свой, а не готовое API
6) Балансировщик нагрузки, чтоб контролировать размер очереди между машинами.
7) Кэширование запросов - это база, иногда спасает от лишних дерганий.
8) Сбрасывание нагрузки при додос атаках. А так же тайм-ауты на ожидание и число повторных попыток для стабильности.
9) Предзагрузка результата перед нажатием вызова.
10) Автоскейлинг числа машин при росте нагрузки.
Фотка моего бати с казахстанским трактором чисто как заглужка, пока не найду подходящую картинку.
1) Асинхронный код - чтоб не ждать ответа при запросах во вне.
2) Асинхронные API - чтоб не стопарить асинхронный код
3) Web-hook’и чтоб не тратить время на лишнее дергание API ручек.
4) Стриминг или батчинг запросов, чтоб клиентский опыт не страдал и GPU карточка во всю свою мощь работала.
5) Очередь запросов, если ML сервис свой, а не готовое API
6) Балансировщик нагрузки, чтоб контролировать размер очереди между машинами.
7) Кэширование запросов - это база, иногда спасает от лишних дерганий.
8) Сбрасывание нагрузки при додос атаках. А так же тайм-ауты на ожидание и число повторных попыток для стабильности.
9) Предзагрузка результата перед нажатием вызова.
10) Автоскейлинг числа машин при росте нагрузки.
Фотка моего бати с казахстанским трактором чисто как заглужка, пока не найду подходящую картинку.
- 👍 44
- ❤ 13
- 😁 9
- 🔥 2
