Безошибочно определяем, какие ИИ-модели пойдут на вашем ПК — инструмент Magnitude максимально детально проанализирует вашу машинку и выдаст результат.

Тулза:
🔅 Автоматически профилирует ваше оборудование;
🔅 Оценивает количество токенов в секунду для каждой модели ещё до загрузки;
🔅 По итогу даёт список лучших моделей для вашего компа.

Далее выбираете один вариант и Magnitude делает ВСЁ остальное: грузит модель и квантизацию с HF, настраивает спекулятивное декодирование (MTP, DFlash и тд.) и устанавливает параллельность на основе вашей памяти.

Больше не ошибаемся с запуском нейронок — тут.

🙂 Не баг, а фича