Инцидент, затронувший Google Cloud, Google Workspace и Google Security Operations 12 июня 2025 года, связан с увеличением ошибок 503 при внешних API-запросах. Это привело к перебоям для клиентов по всему миру. Давайте разберём, что произошло и как реагировали в компании.
Что произошло
В сервис Service Control (часть системы управления API Google) добавили новую функцию для проверки квот. Код не был защищён фич-флагом и не имел надёжной обработки ошибок. Далее изменение политики в региональных таблицах Spanner включило проблемный кодовый путь, который столкнулся с нулевым указателем (null pointer), вызвав крах бинарных файлов.
Из-за мгновенной глобальной репликации данных ошибка распространилась на все регионы, а перезапуск задач Service Control вызвал перегрузку инфраструктуры из-за отсутствия экспоненциального отката.
Затронуты десятки сервисов, включая IAM, BigQuery, Cloud Storage, Gmail, Google Drive и другие. Клиенты испытывали проблемы с доступом к API и интерфейсам, хотя стриминговые и IaaS-ресурсы остались нетронутыми.
Реакция Google
Команда SRE начала расследование через 2 минуты после начала сбоя, через 10 минут определила причину и через 25 минут подготовилась к отключению проблемного пути обработки.
Через 40 минут начали восстановление, сначала в меньших регионах, а затем в крупных, где потребовалось ограничение задач и перераспределение трафика.
Выводы и план улучшений
Google признал ошибки и пообещал:
⚪️Модулизацию Service Control для изоляции функций и отказа с сохранением работы API
⚪️Аудит систем с глобальной репликацией данных для постепенного распространения и проверки
⚪️Обязательное использование фич-флагов для критических изменений с отключением по умолчанию
⚪️Улучшение статического анализа, тестирования и внедрения экспоненциального отката
⚪️Повышение качества внешней коммуникации и обеспечение работы мониторинга даже при сбоях
Хотите защитить свою инфраструктуру от подобных рисков? Приходите на аудит к Core 24/7 — и мы заберем вашу головную боль.
@DevOpsKaz 😛