Два человека переписали хранилище ChatGPT с Python на Rust

OpenAI выложила разбор Habitat: внутреннее онлайн-хранилище ChatGPT, Responses API и Codex. Сейчас это больше 70 млн запросов в секунду, 500+ ПБ данных и около миллиарда пользователей в неделю по почти 40 регионам.

На Python система держала пик выше 20 млн RPS. Дальше упёрлись в ядра и хвосты латентности: Habitat стал вторым сервисом компании по числу CPU и четвёртым по Envoy. В Q2 2026 два инженера с Codex и GPT-5.5 переписали сервис на Rust. Rust уже обслуживает 95% продакшена. По их цифрам: CPU эффективнее в 6 раз, память в 15, средняя и хвостовая латентность заметно ниже. Python снимут через несколько недель.

Что здесь цепляет не «Rust быстрее Python». Это и так все знают. Цепляет порядок решений. Год сознательно жили на Python, потому что продукт рос быстрее, чем команда успевала переписывать платформу. Переезд отложили, пока модели не стали достаточно сильными, чтобы двое закрыли работу, на которую раньше собирали отдельную платформенную группу.
Если у вас в бэклоге висит «когда-нибудь перепишем горячий путь», этот пост OpenAI удобно кидать в тред как аргумент в обе стороны. И «смотрите, Python вывез 20 млн RPS, не трогайте». И «смотрите, когда упёрлись, двое плюс агент закрыли миграцию за квартал». Правда, как всегда, где-то посередине: сначала измерить, во что вам обходится текущий рантайм на ядрах и p99, а уже потом спорить про язык.

Источник: openai.com/index/scaling-storage-one-billion-users-part-one

#rust #python #highload #openai #infra #chatgpt