TGViewer
Техножнец Техножнец @technojnec · 5.7K subscribers
Post #4588 1.76K
Техножнец Привет, синтеты. Нашёл способ расширить контекст без болевых ощущений для беседы, личности, вайба и стиля. Теперь Rukallama будет с 4000 токенным контекстом. Я заменил свой KAN роутер экспертов на стандартный от DeepSeeek V4 - но пришлось пересобрать с нуля…
Синтеты, если помните мою борьбу с экспертами и чтобы они рановмерно заполнялись. Короче...это, конечно, полезная фича...и я там ещё боролся с залипанием внимания. Но...зря я так сильно боялся. Как говорится лучше перебздеть, чем недобздеть.

Смена новый маршрутизатор для MOE-экспертов сработал просто ИДЕАЛЬНО! Теперь , если что, буду доучивать точечно, данные будут распределяться более грамотно по группам...экспертность будет уточняться...модель будет лучше пользоваться своими возможностями.

Уже видны колоссальные сдвиги в беседах.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿
  • 🔥 21
  • 👏 4
  • ❤ 3
  • 👍 2
  • 🕊 1
More from @technojnec
  1. Sep 29, 2026Это прикольный подход. Одобряю очень!
  2. Sep 29, 2026Q-164M и Q-U-164M — новые модели от Q-Project, обучены с нуля на одной GPU. Q-164M — 164.6…
  3. Sep 29, 2026Комментариев нет, т.к. все пошли повторять 😃
  4. Sep 29, 2026ROTOR: память с четырьмя часами Языковая модель без attention · 33.6M параметров · с нуля…
  5. Sep 29, 2026Так так так...
  6. Sep 28, 2026Rukallama V11+ может: 1) Писать код Basic , причём рабочий и по запросу. 2) Писать код Pyt…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →