⚪️ Точность 5.4 на большом контексте

Еще работать и работать. Посмотрите на график!

После 256к прям приличное падение. А ведь оно еще и x2 стоит в лимитах. Оно нам надо? Предполагаю, что над этим работают, и к следующему релизу будут улучшения (5.5? 6?) и 1m в принципе станет юзабельным. Сейчас у меня большие сомнения что это работает хорошо, возможно, стоит придумать эвал.

Думаю, для практического использования контекстов 1m-10m нужно чтобы случился какой то прорыв в архитектуре (RLM?)


@deksden_notes