TGViewer
Бесконечное ИТ Бесконечное ИТ @neverendingit · 363 subscribers
Post #730 420
Хорошая статья от OpenAI про масштабирование их postgresql базы.

Вот как они поэтапно шли к масшибированию своего хранилища. Важно понимать что между каждыми этими этапами есть какие-то интервалы времени, иногда меньше, иногда больше, главным драйвером был пользовательский спрос на продукт. Мне кажется просто хрестоматийный пример неспешного, постепенного улучшения.

1. Долгое время просто масштабировали инстанс, вертикально (ресурсы), горизонтально (реплики чтения)
2. Снижение нагрузки на главный узел. Тут подключили шардирование, оптимизация приложений (уменьшение write операций), контроль создание новых таблиц в главном инстансе.
3. Оптимизация SQL запросов на приложениях, работа с пулом соединений (PgBouncer)
4. Строго ревью всех запросов на изменений схем они должны быть быстрыми, не лочить надолго запись, Rate-limiting, приоритезация запросов и роутинг их на разные инстансы.
5. Standby сервер, geo-резервирование.

https://openai.com/index/scaling-postgresql/
OpenAI Scaling PostgreSQL to power 800 million ChatGPT users An inside look at how OpenAI scaled PostgreSQL to millions of queries per second using replicas, caching, rate limiting, and workload isolation.
  • 🔥 3
  • 👍 1
More from @neverendingit
  1. Aug 7, 2026История про взлом Hugging Face обросла деталями. Прогрессивное комьюнити разделилось на дв…
  2. Jul 23, 2026"В конечном счёте, и лидерство, и доверие заслуживаются одинаково - постоянством в том, чт…
  3. Jul 22, 2026Потрясающая история произошла недавно в мире AI/Security буквально на наших с вами глазах.…
  4. Jul 1, 2026Как ArchUnit помогает командам Netflix управлять изменениями в коде. Я несколько раз вплот…
  5. Jun 25, 2026Блокировка доступа к моделям Anthropic, OpenAI породила огромный черный рынок в Китае (и в…
  6. Jun 23, 2026Представили новый HTTP метод - QUERY. Призван закрыть пустоту между GET и POST в части раб…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →