Ирония автоматизации

В 1970х годах когнитивный психолог Лизанна Бейнбридж проводила дни, наблюдая за операторами больших индустриальных печей. Она просила их проговаривать вслух, что именно они делают и почему, и разбирала, как устроено их знание о производственном процессе, управляемом автоматикой.

Из этой серии интервью в 1983 родилась статья "Ironies of Automation", которая ну до боли напоминает сегодняшние разговоры о нашей индустрии.

Ирония автоматизации состоит в том, что человеку достаются задачи, которые не удалось автоматизировать, то есть по определению самые трудные и плохо формализуемые. Плюс к ним – надзор за автоматикой, которую внедрили как раз потому, что она работает лучше человека. И эта система концептуально сломана:

👉Человек физиологически неспособен удерживать внимание на источнике, где почти ничего не происходит.
👉Умения оператора деградируют без практики. Если ты годами только наблюдаешь за системой, то в момент аварии, когда нужно перехватить управление и проявить мастерство, его уже не осталось.
👉Знания в долгосрочной памяти остаются доступными, только когда к ним регулярно обращаются. Оператор, не пользующийся этими знаниями, теряет способность быстро их извлечь. Кроме этого, протухает ментальная модель того, как работает система, и в каком состоянии прямо сейчас она находится.

Все эти проблемы стали ярко видны в произошедшей примерно в то время аварии на АЭС в Пенсильвании. Скакнуло давление, один из клапанов не закрылся, и пошло-поехало. При этом все части автоматики сработали как надо, но итоговый сценарий был не знаком операторам, а из-за показаний приборов их ментальная модель разошлась с реальностью. В итоге они совершили кучу ошибок, произошел выброс радиации, а блок теперь законсервирован навсегда.

Короче говоря, убирая легкие части задачи, автоматизация делает трудные части еще труднее, при этом возможностей получать релевантный опыт и поддерживать актуальные знания у операторов становится меньше. Здравствуй, чудесный 2026 год!