Вычитала, что ключевой элемент механизма нейросетей - attention (внимание).

Если человек читает описание "черный кот сидит на красном стуле", то
- думает о коте и рисует форму кота
- думает о черном и закрашивает кота черным
- думает о стуле и рисует стул
- думает о красном и закрашивает его красным

То есть внимание переключается между словами и частями картинки. Вот это переключение и воспроизводит механизм attention.

Самый важный механизм называется cross-attention: «На какое слово из текста смотреть, когда рисуем этот кусок изображения?»

- пиксель в области уха - модель смотрит на слово "кот"
- пиксель на сиденье - смотрит на "стул"
- цвет пикселя - смотрит на черный или красный

Без attention модель бы только знала, что на картинке есть кот и стул, а также есть черный и красный - получалась бы мешанина.

В интерфейсах Stable Diffusion можно писать:
(cat:1.5) — сильнее внимание к коту
(red:0.5) — меньше внимания к красному.
Модель больше «смотрит» на одни слова и меньше на другие.