Tibo из OpenAI был бы неплохим политиком.

Я давненько заметил что если он что-то говорит про изменения динамики чего-то, то правда абсолютно обратная.

Например: буквально пару дней назад он извинялся за то что Sol 6.1 медленный, мол люди жалуются, но мы это учли, поработали, и теперь все будет быстрее.

На деле: 3го октября у меня зафиксировано всего 280 миллионов токенов. 1го и 2го по 750 миллионов.

Я не запускал меньше задач, наоборот - я запустил больше 12 параллельных сессий которые тарабанили весь день.

В некоторых сессиях я вижу что инференс не сдвигается вообще никуда часами. То бишь они троттлят модели чтобы аккаунт не спалил больше чем Х токенов в минуту/час/день, независимо от того как ты пытаешься нагрузить кодекс сессиями.

На этом же аккаунте в июле у меня были дни которые показывают 2.5-3-3.5 миллиардов токенов. Рекордный день - 3.9b.

Сейчас это просто недостижимо, видимо если не включать Ultrafast =)

Но если включить Ultrafast, то 500 подписка на Астре уедет в ноль за те же 8 часов на одной сессии.

В целом как я много раз говорил - скорость в духе там плюс-минус один день не имеет большого значения. Только качество аутпута модели имеет значения. Некоего гипотетического идеального результата я изи готов ждать и неделю.

Однако стабильно всё в нашем с вами OpenAI UX тогда когда этот buttplug of a human молчит)

Если он говорит что что-то сейчас будет ну просто разъеб нахуй очка все мы победили - значит будет абсолютно полная пизда)))

Я еще угараю с того что если включаешь просто fast режим, то токены начинают утекать нихуя не в 2.5 раза быстрее, а примерно в 20 раз. Причем я так и не понял в обмен на что.

Вот последние 4 часа играюсь с Fast - нихуя не ускоряется тупо по количеству кряхтений модели в сессии, а токены срубает по 5% за полчаса там где раньше было 5% за полдня.

Все эти месяцы Fast был просто наебаловом, и им же остался.

Ultrafast верю что не совсем абсолютно наебалово (хотя ни разу не жал, не вижу смысла если все равно постоянно пользоваться им не смогу), иначе это совсем невозможно было бы продать =)