На датазавтраке говорили про инференс LLM, я хвалил VLLM - но стоит глянуть еще вот на эти варианты:
https://github.com/sgl-project/sglang
https://lmdeploy.readthedocs.io/en/latest/
Post #1450
520
- Oct 14, 2026Вот обзор этой книжки у Поломодова https://system-design.space/chapter/regenerative-softwa…
- Oct 14, 2026Я рассказывал про книжку https://www.oreilly.com/library/view/regenerative-software/064257…
- Oct 13, 2026https://github.com/morluto/rea
- Oct 13, 2026Навайбкоженный excel https://getartcraft.com/apps/gridcraft
- Oct 13, 2026навайбкоженный фотошоп https://getartcraft.com/
- Oct 13, 2026Теперь тестируем движок Radiance, который является отдельным движком для моделей Qwen. Это…