Короче, каждый день появляется куча исследований, новых решений и подходов к тому как можно улучшать продукты на базе LLM. Будь то RAG, или какие-то агентские системы. Угнаться и переварить это, имея 100500 других задач нереально, но я для себя выработал более менее рабочий подход по тому, как генерировать гипотезы для теста.

Все довольно просто:
◾️ Регулярно мониторю, какие новые исследования появляются через. Ищу через всяких умных людей в телеграм/твиттер.
◾️ В Голове всегда есть список задач, которые нужно решить сейчас/в ближайшее время. И то, что может быть релевантно просто кидаю себе в сохраненки. 95% это статьи и исследования с arxiv. Обычно это 10-15-30 страниц текста, с какими-то сложными графиками и объяснениями. Переваривать такое моему гуманитарному мозгу сложно и больно.
◾️ Поэтому я закидываю пдф со статьей в LLM. Либо chatgpt, либо deepseek.
◾️ Для начала просто прошу подробное саммари с объяснением основных моментов, подходов и идей из статьи. Это позволяет мне понять о чем вообще это исследование и релевантно ли оно мне сейчас.
◾️ Далее перевариваю эту информацию и прикидываю как это можно применить в моём кейсе.
◾️ Потом описываю свою задачу, идею которую взял из статьи и как это можно применить - закидываю в LLM. Делаю это для того, чтобы удостовериться, что я правильно понял суть и это реально можно применить так, как я понял.
◾️ Ну и дальше начинается итеративные процесс вопросов для того, как это можно реализовать. Можно ли, например, брать облачную LLM, а не обучать свою, как описано в статье и т.д

На выходе получается некий базовый план шагов, с которых стоит начать, чтобы протестировать решение.

А дальше уже начинаешь делать. Видишь, что работает не так как ожидалось и докручиваешь.

Так, например, недавно узнал про подход к улучшению RAG через токены памяти - вот пытаюсь раскрутить на одном внутреннем проекте.