Участники сообщества и курса решили выяснить это и допилили SGR демку до состояния, что она внятно запустилась на Qwen3-4B 🤯 ибо:
тут был спортивный интерес добиться чего то вменяемого от такого размера
Среди изменений:
- убрали OpenAI SDK, заменив прямыми запросами к локальной модели (llama.cpp для inference модели `Qwen3-4B-Instruct-2507-Q8_0`)
- добавили инструкций в промпт, прописав явно некоторые правила
- добавили еще одно reasoning поле в самое начало SGR каскада в NextStep
Посмотреть эту версию можно тут: gist
Спасибо @amekhrishvili за порт!
Ваш, @llm_under_hood 🤗
