У нас уже есть Claude Code дома

Рассказывая про приобретение своего Mac Mini, я упомянул, что одна из причин его покупки – возможность на нём гонять различные AI модели для собственного пользования. Я поэкспериментировал с этим некоторое время, и сегодня расскажу, что получилось.

Для начала, почему именно Mac? У компьютеров Apple довольно интересная архитектура памяти – так называемая объединённая память – когда одна и та же плашка является и оперативной, и видеопамятью. Это позволяет сократить большое количество издержек при работе с локальными моделями.

Ну и плюсом к этому идёт фирменная фишка Apple – специализированные инструменты, которые создаются под конкретное железо. Из таких, например, фреймворк MLX, который позволяет производителям моделей делать оптимизированные версии под яблочные чипы.

Для запуска моделей я использую LM Studio. У него и GUI, и возможность одной кнопкой поднять сервер с API в формате OpenAI, и поддержка MLX.

Для разработки я использую агента Pi. Он довольно минималистичный, не съедает много контекста системным промптом, да и в целом довольно быстро работает. По настройке также не требуется ничего сверхъестественного: добавляем модели в JSON-файл, выставляем им размер контекста, и готово!

Но! Должен всё-таки заметить, что на 16 ГБ видеопамяти явно не получится аналога Claude Opus или GPT-5.5. Сильного китайского опенсорса на таком железе не поставишь, а из тех моделей, что есть, сильно много не выжмешь.

Несмотря на это всё, для решения каких-то небольших задач такой комплект вполне себе подходит. Пару постов назад я рассказывал про то, как AI помогал мне с улиткой-утилиткой для моей базы знаний. Так вот этот самый AI работал на моём домашнем компьютере.

Но для больших и сложных задач, конечно, сильно проще использовать Claude Code. Моей $20 подписки вполне хватает, чтобы автоматизировать какую-то рутину, тем более что недавно вышел Sonnet 5. Для локального агента пришлось бы декомпозировать задачу на такие мелкие части, что проще и быстрее уже взять и сделать своими руками.

🎤 feelin #ai