🧠 ThinkMesh: Параллельное мышление для LLM
ThinkMesh — это библиотека на Python, позволяющая запускать различные пути рассуждений параллельно, используя внутренние сигналы уверенности для перераспределения вычислительных ресурсов. Она поддерживает оффлайн-работу с Hugging Face Transformers и API.
🚀 Основные моменты:
- Параллельное рассуждение с динамическим перераспределением бюджета
- Оффлайн-работа с Transformers и интеграция с OpenAI
- Асинхронное выполнение с динамическими микро-пакетами
- Поддержка пользовательских верификаторов и редукций
- Кэширование и метрики для отслеживания производительности
📌 GitHub: https://github.com/martianlantern/ThinkMesh
#python
Post #2968
1.93K