Toyota была вынуждена прервать на двое суток работу автосборочных заводов в Японии, из-за чего выпуск автомобилей одного из крупнейших автопроизводителей в мире снизился примерно на 13 000 машин в день.

Проблема возникла 27 августа во время планового мероприятия по техническому обслуживанию серверов и дефрагментации баз данных. Поскольку на серверах баз данных закончилось свободное место до завершения задач, произошла ошибка, вызвавшая выключение системы.

Toyota объясняет, что её основные серверы и резервные машины имеют одинаковую конфигурацию. Из-за этого они столкнулись с одним и тем же сбоем, что сделало переключение на резервные мощности невозможным и привело к остановке работы завода.

Система была заново запущена лишь 29 августа 2023 года, когда инженеры Toyota запустили новый сервер с хранилищем большей ёмкости, что позволило восстановить систему производственных заказов и возобновить работу заводов.


Этот инцидент наглядно продемонстрировал последствия неграмотного планирования рутинных задач обслуживания. Незначительная оплошность, например, неправильный расчёт необходимого дискового пространства для переноса данных или просто нехватка места для хранения данных, может привести к многомиллионным убыткам крупных организаций.

В Simpl мы уделяем пристальное внимание всем процессам и производим расчеты заранее.