Есть новости и от Антропика - теперь Claude может искать информацию в предыдущих диалогах. Казалось бы не так важно, но есть один кейс, когда это критично. Когда весь контекст для диалога выбран, он прекращается внезапно, без возможности сделать саммари для нового диалога. Вот этой проблемы теперь, надеюсь (не проверял еще) не существует - в новом диалоге можно попросить сделать выжимку из прошлого. Очевидная фича, даже непонятно, что так долго ее не выпускали, в любом случае, лучше поздно, чем никогда.

А в целом, учитывая, что большой контекст и дорого стоит, и модель на нем хуже работает, все должно прийти к тому, что контекст должен формироваться отдельной маленькой моделью чуть ли не при каждом запросе - это будет экономить множество вычислений.

В этом плане обратите внимание, что есть не только RAG, но и такая тема как CAG - управление информацией, которая сидит в кэше модели (кстати, эти токены для модели в разы дешевле)