Complete AI

⚡️⚡️⚡️VideoFusion
Вышла первая open source диффузионная модель для синтеза видео по текстовому описанию на 1.7B параметров (CVPR 2023).

Авторы предлагают рассматривать диффузионный процесс как некоторый декомпозируемый процесс: базовый шум (base), общий для всех кадров, и шум остаточный (residual), который изменяется во времени. Две модели учатся совместно и приводят к результату, по качеству превосходящему существующие GAN-based и диффузионные модели синтеза видео.

Статья
HuggingFace

@complete_ai

⚡️Довольно занимательный ресёрч вышел на днях от ребят из MIT и Northeastern University.

Erasing Concepts from Diffusion Models

Авторы предложили схему файнтюнинга для «удаления» из предобученной диффузионной модели для генерации изображений опредлённого вида контент (например, это пригодится для удаления обнажёнки, крови или просто каких-то специфичных объектов). Делается это через специальный метод negative guidance (негативные промты, которые позволяют указывать модели, чего ей НЕ нужно рисовать).

Эффект от файнтюнинга достигается путём обучения слоёв cross-attention, выходы которых зависят от промта (наличие слова “car” выделяет соответствующие контуры автомобиля на карте внимания - (a)).

🫣На пути к полной автоматизации редактирования изображений через текст (а если это ещё и в чатбот вкрутить)

Статья
Гитхаб

🔥Не перестаю гордиться нашей командой, которая заряжена строить крутые решения с горящими глазами и испытывать восхищение от получающихся результатов. Продолжаем подогревать Kandinsky 2.1😊

🤫Скоро раскроем подробности!

@complete_ai

💃Уже скоро будет релиз модели Kandinsky 2.1!
Мы в Sber AI скоро представим новую диффузионную модель, которая генерирует картинки.
Что она может:
1) Генерировать картинки по тексту🤔
2) Смешивать картинки⌛️
3) Смешивать картинки и тексты🃏
Ждите релиз на следующей неделе, будет полный опенсурс всех весов и кода обучения)