🔥 Razer выпустила убийцу Ollama и LM Studio — тулза Razer AIKit позволяет скачивать LLM с Hugging Face напрямую и запускать их локально.

Фичи:
🔅Поддерживает генерацию пикч;
🔅Поддерживает дообучение моделей;
🔅Работает с несколькими GPU;
🔅Есть веб-интерфейс для общения с моделями;
🔅Есть Jupyter Lab — можно запускать готовые ноутбуки и экспериментировать с моделями и кодом;
🔅Есть собственный CLI — через rzr-aikit можно управлять загрузкой и запуском моделей;
🔅Всё упаковано в Docker — не нужно вручную собирать отдельное окружение из множества компонентов;
🔅Работает на Windows и Linux.

🔤🔤🔤🔤🔤🔤🔤🔤🔤

Тестим тут.

🙂 Не баг, а фича