Кстати, по поводу image-only восприятия ↑

Я тут совсем недавно понял, что и RAG на эмбеддингах тоже можно делать сразу по картинкам.

У Jina есть неплохая эмбеддинговая моделька, которая умеет кушать картинки и pdf

P.s. правда на моих задачах справляется хуже чем текстовые эмбеддинги от gemini (потому что они топ). Но лучше, чем та же самая моделька чисто по тексту! Скорее всего на кейсах, где больше картинок, она будет обгонять текстовые gemini-embeddings

Ну и особенно полезно для чисто картиночного поиска.

Например, поиск по картинкам вместо текстового описания может лучше работать в продуктах типа пинтереста или озона

Ссылка