NVFP4, deepgemm, DSpark, P/D disaggr, CUDA 13.0Это все для привлечения внимания, потому что:
Снова ищу инженеров в команду AI платформы Битрикс24
В прошлый раз из канала пришло много сильных ребят, так что заходим на второй круг.
Сейчас нанимаем LLM Ops - тех, кто будет отвечать за то, как модели живут внутри платформы.
Что за платформа?Это основа, на которой строятся все AI фичи компании: от простых сценариев до агентов, управляющих Б24.По факту - мы внутренний провайдер моделей, а наши заказчики - продуктовые и внутренние команды, которые генерируют больше 20 млн запросов в месяц (и это только llm).
Мы отвечаем за модельки под капотом (для этого у нас больше 200 серверов с GPU от t4 до 8хH200 и B200), за их качество, доступность, производительность и эффективное использование. Плюс вот эти ваши лайтллмы, роутеры, кэши, эвалы, guardrails и прочие интересные штуки. Команда кросс-функциональная: разработчики, ML и *Ops инженеры.
Что за LLM Ops?Всё, что связано с моделями, vLLM и инференсом: поднять, настроить, разогнать, обновить и отвечать за то, что оно держит нагрузку и не сжигает деньги впустую.
Чем предстоит заниматься:- выжимать максимум из того железа и фреймворка, что уже есть;
- поднимать модели и готовить среду под тесты и прод - llm, stt, эмбеддинги и тд;
- следить за релизами vLLM и обновляться, потому что каждый релиз приносит фичи, которые нам реально нужны (ну или баги, которые чинить тоже иногда приходится нам);
- отвечать за производительность конкретных инстансов: смотреть метрики, ловить узкие места, реагировать;
- считать ёмкость и стоимость: 200 машин сами себя эффективно по моделям не разложат.
Что ждём от кандидата:- практический опыт именно с vLLM(SGLang тоже котируется);
- продовый опыт эксплуатации LLM-сервисов;
- понимание, как устроены современные LLM: трансформеры, токенизация, контекстное окно, как и что влияет на latency и throughput;
- уметь работать и без кубернетисов;
Сильно в плюс:- опыт с различными вариантами роутинга кэша (vllm-r, dynamo, LMCache. и тд);
Куда писать и что присылать?Пишите мне в личку:
@Ser_noВ сообщении лучше сразу прислать:- CV / LinkedIn / GitHub;
- пару слов, в чём вы сильны или крутые кейсы которые решали в последнее время;
- любые артефакты, если есть: код, конфиги, бенчмарки, дашборды, отчёты, посты;
Про платформу рассказываю
тут и про команду
тут.
Перешлите тому самому, верю в силу телеграма)
