HunyuanImage 3.0
Тут есть две пачки новостей, хорошая и плохая.
Хорошая:
Open Source - https://github.com/Tencent-Hunyuan/HunyuanImage-3.0
Мазохисты могут попробовать тут: https://hunyuan.tencent.com/image/en?tabIndex=0 (чорная кнопка справа от huggingface)
Я уже пробую тут: https://fal.ai/models/fal-ai/hunyuan-image/v3/text-to-image/playground
Есть на репликейт и вейвспид.
HunyuanImage 3.0 это крупнейшая и самая мощная (если брать голые цифры параметров) на сегодняшний день модель преобразования текста в изображение с открытым исходным кодом, имеющая более 80 миллиардов параметров, из которых 13 миллиардов активируются на каждый токен во время вывода.
В отличие от традиционных моделей генерации изображений с архитектурой DiT, архитектура MoE HunyuanImage 3.0 использует подход на основе Transfusion для глубокой связи обучения Diffusion и LLM в единой системе. Построенная на Hunyuan-A13B, HunyuanImage 3.0 была обучена на огромном наборе данных: 5 миллиардах пар изображений и текстов, видеокадрах, чередующихся данных изображений и текстов и 6 триллионах токенов текстовых корпусов. Это гибридное обучение, охватывающее мультимодальное генерирование, понимание и возможности LLM, позволяет модели беспрепятственно интегрировать несколько задач.
Итого:
На борту ризонинг с использованием мирового знания
Понимание огромных промптов на тысячи слов
Убойная работа с текстами
Трушная мультимодальность
Все это я проверил на ОДНОМ примере.
Вместо промпта написал ей:
solve this:
8x + 10 = 18
and make picture with soulution
Результат вы видите в шапке поста. Впечатляет.
Черрипики на сайте
https://hunyuan.tencent.com/image/en?tabIndex=0
довольно мощные, но давайте навалимся и протестируем сами (ссылка на fal.ai).
В общем выглядит прельстивейше.
А теперь Чорные Новости:
Нет (пока) image2image
Нет (пока) VLLM
Веса весят (пардон) СТО СЕМЬДЕСЯТ ГИГОВ
Ну и самое горькое: для запуска вам понадобится ЧЕТЫРЕ карты по 80GB VRAM КАЖДАЯ (4х80GB VRAM)
Там вроде MoE c 64 экспертами юзают не все 80B параметров, а только 13B активных. Ждем оптимизаций, выгрузок, и нам также обещаны дистиллированные веса (тут мы такие - дистилят для слабаков и плохого качества)
То есть это вроде бы опен сорс, но не для людей, а для олигархов с видеосерверами на 320GB VRAM на кухне.
Предлагаю называть это элитный опен сорс.
Отзывы в твитторах противоречивые. Есть проблемы с анатомией и текстурой кожи, но надо пробовать самим.
А вообще Хунь, в отличие от Алибабы и Квена, любит бахнуть на Гитхаб сырой код, огромные веса, формальное описание типа "мы смогли, а вы держитесь"
Пока тестируем на агрегаторах.
@cgevent