⚡️ WORLD INTEL BRIEF

• 🆕 vLLM и SGLang при перезапуске после сбоя продолжали генерацию текстом, противоречащим уже показанному клиенту: это произошло в 25 из 30 испытаний vLLM и 24 из 30 испытаний SGLang. Авторы опубликовали код для принудительного завершения сервера, восстановления и проверки потока токенов. Zenodo
↳ Повтор запроса после сбоя не гарантирует согласованного продолжения даже при температуре 0.

—
📡 @azalio_tech_summary