TGViewer
LLM под капотом LLM под капотом @llm_under_hood · 29.6K subscribers
Post #637 14.8K
Какая самая маленькая LLM, которая может управлять бизнес-агентами?

Участники сообщества и курса решили выяснить это и допилили SGR демку до состояния, что она внятно запустилась на Qwen3-4B 🤯 ибо:

тут был спортивный интерес добиться чего то вменяемого от такого размера


Среди изменений:

- убрали OpenAI SDK, заменив прямыми запросами к локальной модели (llama.cpp для inference модели `Qwen3-4B-Instruct-2507-Q8_0`)
- добавили инструкций в промпт, прописав явно некоторые правила
- добавили еще одно reasoning поле в самое начало SGR каскада в NextStep

Посмотреть эту версию можно тут: gist

Спасибо @amekhrishvili за порт!

Ваш, @llm_under_hood 🤗
  • 🔥 62
  • ❤ 22
  • 👍 17
  • 👏 3
More from @llm_under_hood
  1. Oct 10, 2026Мы получили Claude Startups для BitGN! Anthropic - молодцы. До этого момента я не рассматр…
  2. Oct 9, 2026Progressive Disclosure для MCP/API - экономия токенов в ~99% Я вчера писал про 12 итерацию…
  3. Oct 8, 2026Я мигрировал Personal OS с git repo на server-side RAG с песочницей История экспериментов…
  4. Oct 5, 2026BitGN ECOM2 - будущее агентов которое вы сможете пощупать сами! Напомню, что BitGN - это с…
  5. Oct 4, 2026Самая классная фишка современности - многие достижения других можно копировать. Пару дней…
  6. Oct 1, 2026Как вы думаете, справится Codex c такой задачей? Вот я сейчас запустил задачу, где прошу н…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →