Тысяча агентов и один архитектор

Коллега хорошо написал о когнитивном долге при работе с ИИ: система может развиваться быстрее, чем человек успевает понимать созданное.

Но проблема шире. Масштабировать исполнение значительно проще, чем архитектурное осмысление. Типизированную работу можно распараллелить между людьми, КБ, подрядчиками, вычислительными мощностями, а теперь и ИИ-агентами.

Сегодня один инженер работает с несколькими агентами. Завтра их вклад в одном проекте может измеряться сотнями и тысячами параллельных исполнителей.

Причём речь уже не только о коде. ИИ всё лучше работает с CAD, электроникой, проектированием плат, программированием, анализом и отладкой оборудования. Не за горами кибермастерские, где все это будет соединено со станками, роботами и испытательными стендами.

Но возникает фундаментальная асимметрия: тысячу локальных инженерных задач можно выполнять почти в тысячу раз параллельнее. Понимать систему как целое в тысячу раз параллельнее нельзя.

Фредерик Брукс считал концептуальную целостность одним из важнейших качеств сложной системы: реализовывать её могут тысячи, но общий замысел должен удерживаться одним архитектором.

Дробить работу необходимо. Дробить мышление о системе опасно.

В сложной технике главные проблемы часто находятся не внутри блоков, а между ними. Масса влияет на механику, механика на энергетику, энергетика на охлаждение, охлаждение на компоновку, ремонт, логистику и производство.

Каждый специалист или агент может быть локально прав, а система в целом уже нежизнеспособна.

Причём административно это может выглядеть прекрасно. Задачи закрываются. Отчёты сдаются. Этапы принимаются. Графики соблюдаются. KPI зелёные.

Есть старый анекдот: один рабочий копает лунки, другой тут же их закапывает. Третий, который должен был класть в ямки картошку, сегодня не вышел. Каждый выполняет свою операцию правильно. Исчез только смысл целого процесса.

Формализм хорошо отвечает на вопрос, выполнена ли отдельная задача. Намного хуже - на вопрос: имеет ли ещё смысл система целиком? Для этого нужен кто-то, кто смотрит поверх границ подразделений, контрактов и модулей.

Советская ракетно-космическая программа хорошо показывает уязвимость таких систем. В воспоминаниях её участников повторяется мысль: пока был Королёв, существовал человек, способный среди огромного числа специалистов и противоречивых требований сказать, куда идти. После его смерти машина в основном  двигалась в последнем заданном им направлении.

Исполнителей можно нарастить. Носителя целостного понимания - почти нет.

Поэтому с ростом возможностей ИИ человеческое внимание должно смещаться не к ещё большему числу локальных задач, а к удержанию целого. И сам ИИ становится ценен не только как армия исполнителей, а как средство расширения зрения архитектора: искать противоречия между подсистемами, прослеживать дальние последствия решений, восстанавливать причины старых решений и показывать связи, которые человек уже не способен одновременно удерживать в голове.

Иначе наша способность производить инженерные решения будет расти на порядки, а способность понимать их совокупность -  нет. «Сила, лишённая разума, рушится от своей громадности сама собой».

Каждый руководитель наверное, помнит моменты, когда подчинённые простаивают, ожидая простых и понятных задач, а эффективно помочь в осмыслении ситуации в целом - попросту некому. И приходится  раздавать либо какие попало задания, либо второстепенные.

Поэтому главным дефицитным ресурсом больших технических систем будущего может оказаться не число инженеров и не вычислительная мощность.
Им окажется архитектор и пропускная способность его понимания. Именно на этих людей и эти способности должна быть ориентирована образовательная система будущего.

@ntstg