Я как-то пропустил момент, когда достаточно умные LLM модели стало можно легко запускать прямо на своём компьютере. Они даже могут что-то напрограммировать, хотя и медленнее чем в облаке.
Проще на маке, потому что память у процессора и GPU общая.
1. Устанавливаем ollama.
2. ollama run qwen3.8:27b
И всё, модель скачивается и работает. (Требуется в районе 16-20 гигабайт памяти.) Можно подключить её в VSCode.
Post #659
234
- ❤ 3