В продолжение вчерашних экспериментов - запустил сегодня с утречка на одиночном мак мини модельку от OpenAI - gpt-oss-20B в квантовании на 4 бита. Работает, но всегда немного использует swap в самом начале, поэтому любой ответ дается медленно. Говорят, что это не лечится, вообще чудо, что запускается.

Взял модельку поменьше, ориентированную именно на русский язык.
https://huggingface.co/VlSav/Vikhr-Nemo-12B-Instruct-R-21-09-24-Q4_K_M-GGUF
Называется Вихрь, оптимизирована нашими умельцами, в кванте на 4 бита вполне нормально работает, со свопом не сталкивался, по крайней мере, пока - надо посмотреть, как будет работать с разными контекстами.

Попробую в пока использовать в различных автоматизациях ее - посмотрим, будет ли хватать или нет.

Но в целом немного устал, и от Клода, и от Джемини - пока с ними что-то устанавливаешь все время косяки - то не посмотрели на актуальный синтаксис, то забыли, что у меня памяти всего 16гб. Клод так вообще пять раз в предел контекстного окна упирался, и все, как всегда, внезапно. Раздражает.

В общем, надо как-то жестче управлять контекстом. Помнить нужное, забывать лишнее. Пожалуй, надо repo prompt подробнее осваивать. И его создатель настоятельно рекомендует использовать с ним codex, который под хорошим управлением сильно адекватнее того же Клода, причем не Соннета, а Опуса (которым я не пользуюсь - там 5 запросов, и все, можно отдыхать).

Зато, в дополнение к Ollama и LM Studio попробовал поработать с пакетами llama.cpp и mlx-lm. Действительно, более сложно и непонятно, но, как говорят, ресурсы используются эффективнее. Будем надеяться