Инженеры учат нейронки работать за себя. Кейсы из жизни.
https://ai.ovc.me/
https://youtube.com/@wearefired_ai
Для связи @ovcme
Post #377
119

Один MCP. Один Qwen. Четыре терминала. Двадцать тысяч токенов. И где-то в секторе должен быть хотя бы один Ян-Майкл-Винсент.
Продолжаем игры с локальными моделями и подбираем к ним хорошие мордочки. Нужна легкая, красивая и чтобы работала. Много хочу, конечно, но я человек амбициозный.
Все, что просто в режиме работы жрет 1-2 ГБ дефицитной памяти, сразу мимо. Поэтому AnythingLLM, LM Studio и Msty пока отпали.
Сначала попробовал Qwen Code. Он MCP увидел, данные получил и дальше задумался о вечном. Оказалось, что перед каждым ответом он отправляет модели десятки тысяч токенов служебного хозяйства. Ленивую загрузку инструментов настроили, стало сильно лучше, но я все равно не хочу терминал, я хочу десктоп.
Пошел дальше и нашел Jan. Бесплатный, открытый, локальные и внешние модели, MCP, приятная морда. Подключил Qwen, добавил MCP. Все зеленое, все работает. Только после первого запроса произошло ничего.
Дальше вечер превратился в изучение логов. Умер сервер модели, воскрес как сервис macOS, потом ожил Jan, не поднялась маршрутизация MCP, а потом оказалось, что при одном сервере она и не особенно нужна.
После всей этой возни Qwen наконец сам вызвал один инструмент, потом второй и получил нужные данные. Я уже почти праздновал победу, пока не посмотрел на счетчик: 20 533 токена входа. 103 токена ответа.
То есть модель почти ничего не сказала. В основном она читала собственный чемодан инструкций, описания инструментов и результаты предыдущих вызовов.
Расследование по GitHub показало, что одну из проблем разработчики Jan уже нашли. В стабильной 0.8.4 ответы MCP складывались в историю почти как есть, а в свежей сборке появился лимит на размер ответа инструмента.
Пришлось ставить Jan Nightly. Который, разумеется, скачивается не кнопкой Download Nightly, а через GitHub Actions, успешный workflow и артефакты. Потому что а зачем останавливаться на достигнутом.
В настройках появилась строка Max tool output characters: 40000. Ян-Майкл-Винсент наконец-то получил право забывать лишнее. Кстати, я очень ему в этом плане завидую.
В итоге решение завелось, а Jan оказался очень достойной мордой. Бесплатный, открытый, памяти жрет немного, MCP есть, локальные модели есть. То есть все признаки какого-то подвоха налицо.
Из недостатков: пришлось поставить nightly, прочитать GitHub и провести вечер в четырех терминалах.
В остальном отличный продукт. Пять Ян-Майкл-Винсентов из пяти. Редакция рекомендует.
Продолжаем игры с локальными моделями и подбираем к ним хорошие мордочки. Нужна легкая, красивая и чтобы работала. Много хочу, конечно, но я человек амбициозный.
Все, что просто в режиме работы жрет 1-2 ГБ дефицитной памяти, сразу мимо. Поэтому AnythingLLM, LM Studio и Msty пока отпали.
Сначала попробовал Qwen Code. Он MCP увидел, данные получил и дальше задумался о вечном. Оказалось, что перед каждым ответом он отправляет модели десятки тысяч токенов служебного хозяйства. Ленивую загрузку инструментов настроили, стало сильно лучше, но я все равно не хочу терминал, я хочу десктоп.
Пошел дальше и нашел Jan. Бесплатный, открытый, локальные и внешние модели, MCP, приятная морда. Подключил Qwen, добавил MCP. Все зеленое, все работает. Только после первого запроса произошло ничего.
Дальше вечер превратился в изучение логов. Умер сервер модели, воскрес как сервис macOS, потом ожил Jan, не поднялась маршрутизация MCP, а потом оказалось, что при одном сервере она и не особенно нужна.
После всей этой возни Qwen наконец сам вызвал один инструмент, потом второй и получил нужные данные. Я уже почти праздновал победу, пока не посмотрел на счетчик: 20 533 токена входа. 103 токена ответа.
То есть модель почти ничего не сказала. В основном она читала собственный чемодан инструкций, описания инструментов и результаты предыдущих вызовов.
Расследование по GitHub показало, что одну из проблем разработчики Jan уже нашли. В стабильной 0.8.4 ответы MCP складывались в историю почти как есть, а в свежей сборке появился лимит на размер ответа инструмента.
Пришлось ставить Jan Nightly. Который, разумеется, скачивается не кнопкой Download Nightly, а через GitHub Actions, успешный workflow и артефакты. Потому что а зачем останавливаться на достигнутом.
В настройках появилась строка Max tool output characters: 40000. Ян-Майкл-Винсент наконец-то получил право забывать лишнее. Кстати, я очень ему в этом плане завидую.
В итоге решение завелось, а Jan оказался очень достойной мордой. Бесплатный, открытый, памяти жрет немного, MCP есть, локальные модели есть. То есть все признаки какого-то подвоха налицо.
Из недостатков: пришлось поставить nightly, прочитать GitHub и провести вечер в четырех терминалах.
В остальном отличный продукт. Пять Ян-Майкл-Винсентов из пяти. Редакция рекомендует.
- 👍 4
- 🤔 2
















