Кому интересен RAG и использование LLM - рекомендую посмотреть трек AI&ML.
Если коротко - как правило, одна LLM должна погонять другую, при этом чем больше у вас железа, тем лучше, ну и промпт может сильно решать во многих случаях.

Последнее могу подтвердить, поскольку при анализе геологических отчетов, например, с помощью той же локальной YandexGPT - промпт надо было некоторое время настраивать.

@geologistprogrammer