Post #11106
4K
black_samorez Disaggregated quantization Новая статья. Процессим LLM префилл и генерацию разными квантизациями одной модели. Дообучаем обе вместе с учетом того какой токен процессится какой моделью. Чекпоинт для префилла можно сгрузить на SSD, спрятав подгрузку за long…
Накидайте лайков лютому https://huggingface.co/papers/2609.26333
- 👍 28
- 💩 3
- 🔥 1