🎧 Inference Engineering — подкаст-разбор, 15 минут

Прочитал книгу Филипа Кайли (Baseten, 2026) и сделал разбор на двоих ведущих — только то, что меняет решения, без общих слов. Озвучено Gemini TTS.

О чём внутри:
• два принципа книги: больше ограничений — выше производительность; больше трафика — больше оптимизаций окупается
• как доказать узкое место, а не угадать: ops:byte у H100 ≈ 295 против арифметической интенсивности декода ≈ 62 → выбирай карту по пропускной способности памяти, не по флопсам
• почему «веса влезли» ≠ «работает»: DeepSeek на 4×B200 влезает, но без KV-кэша не обслуживается
• миф про MoE: в батче на проде активны почти все параметры, экономия испаряется
• пороги техник: квантизация 30–50% при нулевой потере качества; драфт-модель минимум в 10× меньше; n-gram спекуляция только когда выход похож на вход
• дизагрегация — три условия, и нужны все три (100M–1B токенов/день, 100B+ параметров, тяжёлый префилл)
• эксплуатация: concurrency target = batch size, холодный старт, честное «если надеешься на scale to zero — тебе ещё рано своя инфраструктура»
• физика задержек: 5 мс на часовой пояс, 40 мс между кластерами = 20% секундного SLA на пятишаговом пайплайне
• трюк из Whisper: модель залипла в повторе — поднять температуру

#ai #inference #podcast #books