В OpenAI показали результаты крупного обновления производительности Codex, которое должно выйти на следующей неделе.

Оно должно заметно ускорить загрузку очень длинных диалогов, одновременно снизив потребление памяти и количество запросов.

На экстремальном тесте с диалогом на 741 сообщение и объёмом 231 МБ:

• время загрузки сократилось с 27,6 до 1,7 секунды
• количество запросов уменьшилось на 98%
• загружаемых элементов переписки стало на 99,6% меньше
• рост потребления памяти приложением снизился на 41%

😳😳😳