В твиттере уже какое-то время прогревается история про модель SubQ, которая обещает решить проблему квадратичного масштабирования контекста, а значит, помимо длинны конекста, еще и скорости и цены токенов. Сейчас открыли запись на тестирование модели. И если это действительно прорыв, думаю, скоро мы все об этом услышим. Это может быть действительно геймченжером