Qwen 3.6 35B у нас наконец нормально заработала. Около 15 ГБ памяти, 40 токенов в секунду, чат с телефона, файлы, веб, 32k контекста. Можно было на этом остановиться.
Поэтому мы сразу скачали ещё три модели.
В интернете нейронки сравнивают кучей тестов с умными словами и аббревиатурами. GPQA, SWE-bench, AIME, LiveCodeBench и еще черт знает что. У нас метрики проще: сколько памяти жрёт, сколько токенов в секунду выдаёт и блич-тест.
Блич-тест появился случайно. Я спросил модель, как правильно дезинфицировать бутылки для домашнего пива хлоркой. Оказалось, это прекрасная задача. Надо понять простой бытовой вопрос, не устроить лекцию ОБЖ, не придумать опасный рецепт, а если дали интернет, сходить туда и не насочинять поверх найденного.
Первой была наша Qwen 3.6 35B-A3B. Это MoE на 35 миллиардов параметров, из которых за раз работают около 3 миллиардов. В 3-битном кванте занимает около 15 ГБ и выдаёт 40 tok/s.
Без интернета Qwen перестраховалась, запретила хлорку и отправила кипятить бутылки. С интернетом уже нормально разобралась и посоветовала готовый пивоваренный санитайзер. Правда, заодно добавила несколько фактов, которых в найденных источниках не было. В целом блич-тест прошла, но со списыванием.
Дальше GPT-OSS 20B от OpenAI. Тоже MoE, 3.6B активных, зато занимает около 11 ГБ и выдаёт 32 tok/s. И вот агентность у неё настоящая: сама вызывает инструмент, получает результат и продолжает отвечать.
Но блич-тест провалила с размахом. Без интернета придумала концентрацию хлорки. Дали веб - сходила в поиск, получила реальные результаты и на их основе изобрела технологию с уксусом, выдержкой и красивой таблицей. Ничего этого в источниках не было.
То есть вызвать инструмент современные нейронки уже умеют. Не сочинять ничего поверх ответа инструмента оказалось сложнее.
Потом GLM-4.7 Flash. Около 16 ГБ и 21 tok/s. В память влезла, но сильнее полезла в swap, почти вдвое медленнее Qwen, а инструменты нормально не заработали. До серьёзного блич-теста дело уже не дошло.
Последним попробовали Ornith 1.5 35B-A3B. Его специально доучивали под код и агентов, в тестах выглядит очень бодро. Наш первый тест он не прошёл: не влез в 24 ГБ.
В итоге домашний рейтинг получился такой:
Qwen: 15 ГБ / 40 tok/s / блич-тест пройден, но со списыванием.
GPT-OSS: 11 ГБ / 32 tok/s / блич-тест провален с фантазией.
GLM: 16 ГБ / 21 tok/s / снята с дистанции.
Ornith: не влез.
Так Qwen и осталась основной.
В умных таблицах наверняка найдётся модель лучше. Но у нас Mac mini, русский язык и бутылки. Здесь пока победила Qwen.