Теперь нейросеть научилась создавать надписи на изображениях, придерживаться нескольких стилей на одной картинке и учитывать больше деталей из запроса.
Для обучения YandexART 2.0 мы использовали VLM-модель, которая одновременно работает с визуальными и текстовыми данными. Она умеет анализировать изображения и детально описывает, что на них находится. Модель «смотрела» на изображения из обучающего набора данных и генерировала для каждой картинки точные текстовые описания, на которых и обучалась YandexART 2.0.
⭐ Это нестандартный подход. Обычно для работы с изображениями используют одну из двух моделей: свёрточную или трансформерную. Свёрточные идут от частного к общему: распознают изображение пиксель за пикселем, выявляют его важные признаки — контуры, текстуры и формы. Трансформеры, наоборот, двигаются от общего к частному — сразу анализируют всё изображение, поэтому лучше понимают общий смысл, но хуже учитывают детали.
Гибридная архитектура YandexART 2.0 совмещает сильные стороны свёрточной и трансформерной моделей. Это позволило повысить качество генерации изображений и сохранить высокую скорость 🚀
➡️ Протестировать YandexART 2.0 можно в разделе Foundation Models консоли Yandex Cloud.