Почти месяц, кроме подписок на фронтирные Fable и Sol, гоняю реальные задачи на домашних модельках
И до конца июля не было ни одной, которую можно развернуть локально и поручить ей автономную работу
Qwen 3.6 MoE - кофеиновая белка: за счет трех миллиардов активных параметров работает очень быстро, но ошибается, и результат либо не сходится вообще, либо жрет больше времени, чем у тяжелых моделей
Laguna 2.1, Qwen 3.6 27B и DeepSeek V4-Flash могут делать задачи, но не доводят их до финала, если есть хоть шаг в сторону от верификатора вроде компилятора или тестов
Qwen 3.8 27B хорошо справляется с задачами, но склонен бесцельно думать часы напролет над простыми вещами
Qwen 3.8 Flash Next, вышедшая в конце августа, пожалуй, первая модель, которую реально можно сравнивать с подписочными
Для запуска нужно около ста гигабайт видеопамяти, поэтому купить в ближайшем продуктовом 5090 и радоваться не получится
Нужен либо кластер из трех таких, либо коробка с унифицированной памятью
Ниже - три примера, где я оставил ее молотить киловатты и ушел заниматься своими делами
Сначала - исследовательская задача в Lissen
есть какой-то неприятный баг
Если выбрать книжку, потом свичнуться на оффлайн онли и обратно при этом полистав библиотеки, то в какой-то момент аппка зависает на плейсхолдере
Редко и ненадежно воспроизводится, так что попробуй разобраться
Для запуска у тебя есть https://audiobook.grakovne.org
Для тестов не бери 100 лет одиночества - я ее слушаю
Я не знал, в чем баг, а воспроизводился он слишком редко, чтобы чинить его во что бы то ни стало
Через два часа нейронка локализовала и починила проблему
Причина найдена и воспроизведена детерминированно на эмуляторе.
Цепочка: переключение offline-only безусловно пересобирало плеер (preparePlayback), для недокачанной книги офлайн-запрос падал → preparingError → LaunchedEffect в LibraryScreen сбрасывал играющую книгу → при возврате онлайн восстанавливать уже нечего → плейсхолдер до повторного выбора.
Редкость = зависело от того, скачана ли книга.
И мержреквест с очень аккуратным фиксом: https://github.com/GrakovNe/lissen-android/pull/509
Я забрал фикс в тестирование, и дал следующую задачу уже для своего телеграм-бота для конвертирования книг:
сейчас на каждое сообщение пользователя и на каждый тык по кнопке бот присылает отдельное сообщение
Я хочу чтобы там где это возможно - сообщение от бота редактировалось, чтобы был экспириенс интерактива
Но если цепочка сообщений разорвана например переданным файлом или текстом - новое сообщение с кнопками появлялось все же.
Понимаешь о чем речь?
Предложи мне решение. Код пока не пиши
Здесь я точно знал, что нужно, поэтому попросил план и убедился, что модель не собирается пороть чушь
Вместо чуши Qwen приволок дельную заготовку: https://github.com/GrakovNe/kindle-sideload/pull/8/changes
Я ее отревьюил в несколько итераций, выкатил в прод, и результат видно в ролике к этому посту
Третья задача - объемная, но техническая: перевести тот же конвертер на Spring Boot 4
Много рутины, из которой нельзя уползать в сторону. Нейронка за один проход сделала все замены и удержалась от шрапнельного рефакторинга, чем часто страдает фронтирный Sol
Я просмотрел пулл-реквест, не увидел ничего криминального и отправил в прод
Плавающий баг, апдейт зависимостей и косметика поведения - это три совершенно разные задачки
Я мог бы сделать все три вручную за несколько часов и заплатить рутиной, которую не люблю, или потратить полдня с Fable и заплатить деньгами за токены
С локальным Qwen я просто запихивал таски в духовку и шел по своим делам
Она работала медленнее фронтирных и намного медленнее меня
Но если коробка стоит в рабочем кабинете и шумит охлаждением, ничего от меня не требуя, - какая разница, сколько часов она тратит дешевые домашние киловатты
Я рад, что локальные модельки могут конкурировать с фронтирными за реальные задачи
И еще больше рад, что моей коробке хватает памяти крутить полезные нейронки, а не всякую бесполезную фигню
Поглядим, что они смогут через год