Синтеты, если помните мою борьбу с экспертами и чтобы они рановмерно заполнялись. Короче...это, конечно, полезная фича...и я там ещё боролся с залипанием внимания. Но...зря я так сильно боялся. Как говорится лучше перебздеть, чем недобздеть.
Смена новый маршрутизатор для MOE-экспертов сработал просто ИДЕАЛЬНО! Теперь , если что, буду доучивать точечно, данные будут распределяться более грамотно по группам...экспертность будет уточняться...модель будет лучше пользоваться своими возможностями.
Уже видны колоссальные сдвиги в беседах.
🦆🦆🦆
Поддержать канал ₽ / $ / ₿
Post #4588
1.76K
Техножнец Привет, синтеты. Нашёл способ расширить контекст без болевых ощущений для беседы, личности, вайба и стиля. Теперь Rukallama будет с 4000 токенным контекстом. Я заменил свой KAN роутер экспертов на стандартный от DeepSeeek V4 - но пришлось пересобрать с нуля…
- 🔥 21
- 👏 4
- ❤ 3
- 👍 2
- 🕊 1