Нейросети-художники

Предлагаем вам взглянуть на самые успешные нейросети для генерации изображений. Сегодня расскажем о двух популярных моделях: Stable Diffusion с открытым исходным кодом и DALL·E 2 от компании OpenAI. Они обе вышли в 2022 году и с тех пор несколько раз обновлялись.

В сердце этих нейросетей — похожие технологии: они являются диффузионными (создают изображения из случайного информационного шума), обе работают с текстовыми запросами благодаря модели CLIP (подробнее о ней мы писали здесь), обладают примерно одинаковым количеством параметров: около 3,5 миллиардов.

Однако у Stable Diffusion есть два важных отличия. Во-первых, ее обучали на датасете большего размера: около 2 миллиардов изображений против 650 миллионов у DALL·E 2. Во-вторых (и это главное) — Stable Diffusion использует технологию, которой нет у второй нейросети: она работает не с изображениями, а с их векторными представлениями, которые предоставляет отдельная программа-автокодировщик. Эта технология имеет два преимущества: векторные представления намного компактнее оригинальных изображений и содержат только самую важную информацию о них. Благодаря этому модель обучается и работает значительно быстрее.

Вы можете сами оценить, насколько разные результаты получаются у Stable Diffusion и DALL·E 2. Мы сгенерировали с их помощью две картинки: одну — с котятами, по подробному запросу, который написала ChatGPT (стоит заметить, что запрос не поместился до конца в ограниченное пространство для текста у DALL·E 2), а вторую — с фотореалистичным изображением девушки на улице Нью-Йорка.

Попробуйте угадать, какой набор из двух картинок принадлежит более сложной Stable Diffusion, а какой — DALL·E 2!