Гайд по установке gpt-oss 20b с использованием llama сервера от одного из признанных авторитетов отрасли

Для apple есть отдельная библиотека mlx - совместимые с ней модели на эппловских машинах дают прибавку в скорости до 30%. Учитывайте, когда будете выбирать локальную модель для установки