💭 Anything you can Imagen 🌏

Про модель генерации DALL-E 2 (очевидно созвучную фамилии великого художника Дали) мы написали несколько подробных постов: про запуск модели, про устройство модели и про её ограничения. Однако, это не все, что просходит в сфере AI на данный момент. 24 мая Google тоже выпустили модель "text-to-image", которая называется Imagen (созвучно imagine – представлять, воображать). К сожалению, Google пока что не открыл доступ к модели по причине возможного злоупотребления полученными результатами.

🤔 Imagen работает с естественным языком, например «Золотистый ретривер в синем клетчатом берете и водолазке с красными точками», а затем используя "замороженный кодировщик" T5-XXL, преобразует этот текст во эмбединги. Затем «условная диффузионная модель» отображает встроенный текст в маленькое изображение размером 64x64. На последнем этапе Imagen использует текстовые диффузионные модели сверхвысокого разрешения для повышения дискретизации изображения 64x64 до 256x256 и 1024x1024. Чуть подробнее об этом рассказывают здесь.
Поскольку вы уже погружены в контекст работы DALL-E 2 (если нет, скорее погрузитесь), то мы сделаем акцент на отличиях моделей.

🎨 Во-первых, многие отмечают разницу в реалистичности изображений. DALL-E 2 превосходно создаст картину в определенном стиле с заданными объектами, а реальные изображения почти всегда вызывают сомнения. Imagen же поражает «беспрецедентным фотореализмом» и по оценкам Google, Imagen побеждает DALL-E 2 в тестах на человеческую оценку как по точности, так и по достоверности.

🛠 Во-вторых, Imagen сильно превосзодит предшественника в работе с деталями. Вы можете задать очень подробное описание объектов и их расположения и, скорее всего, результат даже превзойдет ваши ожидания. В то время как DALL-E 2 скорее всего либо перегрузится, либо упустит какую-то часть деталей.

📦 В третьих, коротко опишем разницу в устройстве моделей. Несмотря на то что модели создавались параллельно и разработки не пересекались, смысловые блоки элементов, преобразующих текст в изображение, достаточно похожи. Однако, одним из основных отличий является первый этап – text encoding. Разработчики Google AI используют большую обученную модель, похожую на GPT-3, для того чтобы понять текст так хорошо, как только это можжет сделать AI система. Вместо того, чтобы обучить текстовую и генерирующию изображения модели, они используют предобученную модель и "замораживают" ее на время обучения модели генерации изображений. Исходя из исследования, сопровождающего выход модели, именно это сильно улучшило эффективность модели.

#leftjoin_ai