Архитектурная ката @ Podlodka Crew

Вчера с @MaksCher побывали в жюри архитектурной каты от подлодки.

Участникам нужно было спроектировать решение для обратной логистики с примененем агентов, а именно - так, чтобы агент по-возможности заменил человека на всем процессе.

И действительно, заменить человека можно, кто нам запретит, однако это, скорее – вопрос уровня риска, который готова взять на себя компания.

Все четыре команды представили действительно достойные решения, учитывая, что у них было-то буквально 30 минут в незнакомом домене.

Для себя я тоже отметил несколько наблюдений:

1. Специфики при использовании моделей в решениях было не так много на уровне набора компонентов, – ML, MCP, LLM-Proxy, сами LLM, то есть структурно решения были плюс/минус схожими. И это важно, потому что с позиции архитектуры AI для нас – это не фундаментальные изменения, а в большей степени более массовое использование компонентов с недетерменированным в общем случае поведением.

2. При этом NFR/QA, поведенческие характеристики, могли отличаться существенно. Например - агент вполне может серьезно увеличить нагрузку на API, потому что появился класс задач, для которых в рамках рассуждений ему нужно не 2 раза обратиться к какому-то API, а она решила, что 20 раз надо перепроверить и сделала это. Важным становится вопрос темпоральности (работа со временем), – агент дошел до некоторого этапа, долго ждал ответа от пользователя и что-то изменилось в тех данных, на которые он опирался при принятия ранних решений. Что делать? Все перепроверять каждый раз? Придерживаться ранее принятых решений, даже если теперь есть противоречие? Это бизнес-решение, находящее свое прямое отражение в архитектуре. Вопросы безопасности стали острыми как никогда в том числе в части определения ролей агентов и разделения полномочий.

3. Единогласное мнение – если можно без агента, – лучше без агента. Это относится к тому, когда можно принять решение не доводя до агента, быстро и безопасно. Например - сразу одобрить возврат для надежного клиента или если уже известно, что есть брак.

4. Для систем с агентами важен второй контур – смысловой анализ диалогов. Тенденция к полному исключению людей из цепочки диалога с внешним миром легко может привести к тому, что в какой-то момент собственник посмотрит на цифры, увидит убытки, спишет на экономическую ситуацию, а в действительности окажется, что это потому, что агенты якобы успешно закрывая диалог допускали ошибки, не решали задачи людей, а постоянно их водили по кругу, выполняли действия, о которых не просили. И люди постепенно уходили. Возможно и в вашем окружении уже есть люди, которые именно по этой причине перестали пользоваться услугами каких-то компаний, в моем – уже есть. И здесь интересный момент, что в такой модели выиграет тот, кто сможет построить максимально надежную систему, которая будет действительно полезной (а это во многом архитектурная задача), но есть мнение, что пока этот момент в области взаимодействия с людьми еще не наступил – слишком много разных людей, ситуаций, контекстов, недостаточно накопленных данных и внутренние корпоративные системы и сами данные часто еще не готовы. Я не так часто пользуюсь первой линией, но даже у меня в копилке уже две таких ситуации и оба раза я решал проблемы находя знакомых внутри компаний, других способов просто физически нет было. И, повторюсь, выглядит так, что у этих компаний нет способа узнать об этом, и так, кейс за кейсом, неспеша, компании могут незаметно терять долю рынка. Выходит, что нужны три контура Observability - в обычном представлении, финансовый (учет расходов на диалоги в части использования моделей и других платных API) и смысловой (что происходит у наших клиентов и что мы с этим делаем).

Благодарю @thebits и @Gskoba за приглашение поучаствовать в жюри, Podlodka как всегда на высоте!