Вот управление контекстом кажется мне ключом к большой оптимизации. Когда начинаешь думать о том, что каждый вопрос к модели - для нее «с нуля», разве что части информации - в кэше, начинаешь задавать меньше вопросов (но более подробные), очищать диалоги, и тд, и тп. посмотрим, что предлагают оптимизаторы..

https://t.me/data_analysis_ml/4788