Пишу сюда редко, а зря. За последние полгода локальный AI превратился из игрушки в рабочий инструмент.
Из железа:
- MI50 проданы - слишком медленные и некуда девать такой объем памяти.
- 2xRTX 3090 с моделями Qwen3.6 или Gemma4 закрывают задачи локальной разработки или запуска агента.
- MI50 в два раза выросли в цене за полгода. Я брал их новыми осенью по 16-18 тысяч за штуку, сейчас у них по 40+ за б.у.
- На Авито RTX3090 разлетаются как горячие пирожки. Думал прикупить себе еще парочку и ситуация такова, что добавляешь объявление в избранное - через пару часов оно уже неактульно. Вряд ли их скупают для игр.

По моделям:
- Qwen3.6-35B - лучшая модель для локального запуска прямо здесь и сейчас. Особенно добученная на ризонинге Opus 4.6.
- Выдает 110+ токенов на 2x3090 в Q8
- Gemma4-26B - тоже хороша, если бы не проблема с утечкой памятью.

Из агентов пока остановился на Hermes и Opencode

- Hermes - хороший вариант на каждый день.
- Opencode тоже показал себя неплохо как агент на каждый день. Причем в некоторых задачах даже лучше, чем Hermes - меньше галлюцинаций.

Наконец-то локальные модели начали решать реальные задачи. Вот, что я сделал за последнюю пару недель:

- Найти pdf версии книг по списку на одном известном сайте
- поискать отели и составить план поездки (тут еще не очень хорошо)
- посмотреть логи сервера и составить отчет по проблемам
- посмотреть документацию и подобрать параметры запуска для сложной cli-тулзы
- транскрибировать mp3 с упражнениями по английскому языку и составить запись для удобной навигации

Работа с агентом - новый уровень взаимодействия с миром. Ты говоришь, что ты хочешь и получаешь на выходе результат. Не надо часами гуглить как что-то сделать, буквально дал задачу, ушел пить кофе, вернулся - задача готова. Да, пока это работает не с первого раза, но полгода назад не было и такого.

Минусы тоже есть, сам с таким подходом ничему не научишься.

Для агентов важна производительность. Получилось достичь +75% к скорости процессинга промпта и +10% к скорости генерации на llama.cpp по сравнению с LMStudio.

Использование AI-агентов вызывает привыкание. Вчера блок питания в моем компе приказал долго жить и пришлось заменить на менее мощный и снять видеокарты, так что я второй день страдаю без возможности приказать агенту сделать еще какую-нибудь фигню.

Openrouter на бесплатном плане - ни о чем, 10 запросов заканчиваются моментально.

Наткнулся на мысль, что AGI это не про какой-то сверхразумную модель, это про проникновение AI во все сферы жизни, широкий уровень распространения в быту, как сейчас с интернетом. Тогда аббревиатуру можно расшифровать как Assisted General Intelligence.

Попробовал еще LLM Wiki - пока не ощутил выгоды. Вроде LLM и смотрит по записям, но порой из-за них же и галлюцинирует.

Какие новости у вас? Как идет адаптация в этом дивном новом мире?