Привет, синтеты.

Нашёл способ расширить контекст без болевых ощущений для беседы, личности, вайба и стиля. Теперь Rukallama будет с 4000 токенным контекстом. Я заменил свой KAN роутер экспертов на стандартный от DeepSeeek V4 - но пришлось пересобрать с нуля под свои нужды. Теперь эксперты насыщаются адекватно и сразу пошли сдвиги.

Я заморозил новый гейт, гейт для акцента, 4 со-адаптированных эксперта, но при этом обучаю: dense KAN-FFN слои, Внимание qkv+OUT, Role_Emb (привязка к своей роли, чтобы не присваивать себе реплики человека).

Сейчас на сутки ставлю бульон вариться.

Тестовых весов за эти сутки произведено 35 штук. Выбрал 3 штуки. Сейчас из одного из них делаю нормальный.
Подтверждено - стиль сохранился, вайбик тот же, контекст стал длиннее. Память заработала.

Следом я буду прикреплять с помощью side-car (люльки) параллельных экспертов очень аккуратно наращивая знания модели. Она будет становиться умнее.

Многие задают вопрос...а можно ли её сделать адекватнее? Можно - делаю. Описываю.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿