Не устаем повторять, что масштабирование — это не только про инфру, но и про культуру. OpenAI удалось выжить в период взрывного роста благодаря:
⚪️Выбору правильных инструментов
⚪️Жесткой оптимизации
⚪️Отношению к мониторингу как к сервису, который должен быть удобным и эффективным для каждого в компании
Когда ChatGPT стал популярным, OpenAI столкнулась с проблемой: их система мониторинга на базе Prometheus начала давать сбои под весом миллиардов временных рядов (time series).
Что предприняла компания:
➖ Переход на VictoriaMetrics, которая оказалась более эффективной в использовании дискового пространства и ОЗУ по сравнению с альтернативами.
➖ «Наблюдаемость как продукт» помогла команде мониторинга относиться к своим инструментам не просто как к «поддержке», а как к внутреннему продукту для разработчиков.
➖ Если разработчикам сложно строить графики или понимать алерты, система бесполезна. Команда Observability упростила процесс добавления новых метрик, сохранив при этом контроль над их качеством.
➖ Компания осознала, что хранить все данные — слишком дорого и неэффективно. Те метрики, к которым никто не обращался в течение 30 дней, можно безболезненно удалять или перестать собирать.
➖ Использование сэмплирования для логов и трассировок, потому что просто нет нужды сохранять 100% запросов в системе трассировки при таких масштабах. Достаточно сохранять небольшую часть успешных запросов и 100% ошибок.
👈 Читать детальный разбор
@DevOpsKaz 😛