И снова я начитался Х перед сном и нашел там новую истерику: Qwen Image! Локальный! Бесплатно! Без цензуры!

Последний пункт, конечно, вызвал определенный интерес сам по себе.

Тем более добрые люди из Unsloth написали, что новый Qwen-Image-2.1 теперь можно запускать на довольно скромном железе, а Маку хватит 16 ГБ памяти. У меня Mac mini M4 с 24 ГБ. Казалось бы, запас огромный. Качаем.

Модель действительно запустилась. Первый шаг занял 84 секунды, потом скорость стабилизировалась примерно на 72. А шагов на одну картинку надо двадцать.

Тут я понял, что локальная генерация вернула мне интернет конца девяностых. Картинка вроде есть, просто надо подождать, пока она загрузится. По полосочке. Но 24 минуты на картинку это уже перебор, поэтому полезли разбираться.

Через MLX получили около 35 секунд на шаг. Уже вдвое веселее. А потом заметили маленькую странность: модель занимала 28 ГБ памяти на Маке, в котором физически 24.

Оказалось, часть модели загрузилась неправильно. Вместо компактной версии она развернулась во всей красе, сожрала всю память и еще попросила. Я некоторое время измерял производительность не Qwen-Image, а ошибки загрузчика.

После починки эта часть похудела с 28 до 4 ГБ, обработка запроса ускорилась примерно в сто раз, а скорость дошла до 22-23 секунд на шаг в 1024×1024.

Все еще не быстро. Но уже не модем.

Попытка ускорить еще вдвое закончилась тем, что готовый ускоритель оказался написан для предыдущего Qwen, который внутри устроен совсем иначе. В какой-то момент надо уметь остановиться.

В итоге 1024×1024 считается примерно восемь минут. Картинку к этому посту нарисовал он же, локально, на том самом Mac mini.

Если захотите повторить на Маке, я бы пока шел через MLX и четырехбитную модель. Правда, сейчас там есть косяк с загрузчиком, который пришлось чинить руками. Если будет интерес, выложу рабочий скрипт и инструкцию, чтобы не повторять весь этот квест.

А следующим заходом проверю CUDA. У меня есть ноутбучная RTX 5060 с 8 ГБ, а Unsloth обещает запуск от 6 ГБ. Посмотрим, что быстрее: 24 ГБ общей памяти Мака или 8 ГБ видеокарты.

А на очевидный вопрос отвечу сразу: да, умеет.