🤖 Многопользовательская система с латентным мышлением
LatentMAS — это фреймворк для многопользовательского рассуждения, который переводит взаимодействие агентов в латентное пространство, обеспечивая более эффективное использование токенов и ускорение вычислений. Он совместим с любыми моделями Hugging Face и предлагает стабильную генерацию без необходимости в обучении.
🚀 Основные моменты:
- Эффективное многократное рассуждение с меньшим количеством токенов
- Латентное выравнивание без обучения
- Поддержка любых моделей HF и vLLM
- Значительное сокращение времени обработки (до 7 раз быстрее)
📌 GitHub: https://github.com/Gen-Verse/LatentMAS
#python
Post #3153
2.9K


- ❤ 2
- 👍 1
- 🔥 1