🚀 Новый алгоритм LLM: Speculative Speculative Decoding

SSD - это инновационный алгоритм для вывода LLM, который обеспечивает высокую скорость и точность. Он использует параллельное предсказание от малой модели, что устраняет задержки в процессе генерации. Поддерживает различные модели и оптимизации для повышения производительности.

🚀Основные моменты:
- Параллельное предсказание для ускорения вывода
- Поддержка моделей Qwen3 и Llama3
- Оптимизированные алгоритмы и параллелизм
- Интерактивный чат с поддержкой нескольких моделей

📌 GitHub: https://github.com/tanishqkumar/ssd