🚀 Оптимизация LLM для RTX 3090

Репозиторий предлагает конфигурации и патчи для запуска современных языковых моделей на RTX 3090. Поддерживает несколько движков и моделей, обеспечивая максимальную производительность и надежность в зависимости от ваших потребностей.

🚀 Основные моменты:
- Поддержка двух маршрутов: максимальная производительность или надежность.
- Проверенные конфигурации Docker для локального API.
- Модель-агностичный подход с поддержкой различных языковых моделей.
- Оптимизированные настройки для 1 или 2 RTX 3090.

📌 GitHub: https://github.com/noonghunna/club-3090

#python

@Python_Community_ru