Yet Another Burakov

#брокеры

Подъехала запись стрима по Кафке. У нас были грандиозные планы, но в итоге едва добрались до работы кластера — настолько много интересных вопросов было. Как поломать работу, гарантии и порядок сообщений мы не дошли.

Если хотите продожения с хадкорными вопросами, зажгите 51 огонь — 🔥

Если хотите пощупать симулятор и провести ревизию собственных знаний, то у меня есть для вас домашне задание.

Как сделаете, открывайте подборку кафка-постов в канале у Жени, она очень доступно пишет про базовые механики и совсем неочевидные нюансы.

P.S. Подкаст про SDD мы записали, но я все ника не доберусь смонтажить его.

Планируем вебинар с ребятами из Soft Skills Lab, кому интересно, помогите с выбором темы

Про формальную валидациюю иишечки

Многие задачи проектирования можно свести к взаимодействию нескольких акторов: пользователь-интерфейс, сервис-сервис и т.д. Каждое взаимодействие имеет конечное количество исходов: успешная обработка, бизнес-ошибки, технические проблемы -- и может изменять состояние актора.

При желании мы можем построить полный сценарий взаимодействия со всеми возможным вариантами взаимодействий плюс стейт машину, где каждый переход соответствует атомарному взаимодействию. Будет выглядеть как гигантский сиквенс, из которого мы разворачиваем еще большую FSM. А если упороться еще дальше, то можно сразу строить сеть Петри.

Делать это для реальных задач мы, конечно, не будем, ибо рассчитываем на свою насмотренность и что-то еще. Но для большинства задач исходы довольно просто формализовать: технические проблемы, ошибки в спеках, частые события реального мира. Пихаем в агента базовый сценарий, перечень исходов (тоже можно штормить и генерить с ней) и просим построить сиквенс + стейт машину или сеть Петри.

Зачем?

Внимательные смотрим, что получилось, и берем сценарии, которые реально нужно реализовать — крайне сомнительно

Валидируем по получившейся сетке сценарии, которые спроектировали до этого. Это интереснее, потому что мы можем:

• просто запихать доки в агента и получить результат
• построить формальную модель для валидации с помощью второго агента
• провалидировать результат из п.1 по модели из п.2 следующим агетном

При желании валидацию можно повторить несколько раз.

Товарищи подсказывают, что строить модель и валидировать по ней решение с помощью агентов ну никак нельзя, потому что они недетерминированые. Это кажется приемлемым, т.к. мы можем принять не абсолютную точность.

Вторая проблема: не по каждой модели и сценарию можно провести за условно конечное время (P / NP), особенно если агент накосячит при построении модели. Вот это кажется серьезнее.

Про сожженные токены думать не будем, не для этого нам игрушки делали.

Если вы дочитали до этого момента, и тоже думали, пробовали, слышали о чем-то таком — напишите же!

P.S. На втором курсе у нас было матмоделирование вычислительных систем, кто бы знал, где и как вспомню о нем.

Напоминаю про Кафку вечером, будет вкусно, на всех может не хватить

Во мне давно живет желание сделать что-то (конфу / фест / клуб / пространство) про «мышление»: триз, теория ограничений, логика, системное мышление, критическое мышление, нейробиология и т.п.

Чтобы в прикладном ключе, но не только для манагерства. Зачем — хз. Потому что.

Кому-то интересно? Дайте знать в комментах , если уже участвуете в чем-то подобном

С другой стороны, что здесь не так? Мы избегали подобные макароны, когда писали код руками, потому что их невероятно сложно поддерживать. Но почему? Бесконечное полотно if-else не помещается в мозг, его нереально править, легко ошибиться. Поэтому придумывали паттерны, как упаковать когнитивную сложность в более "элегантную" реализацию.

Но у агента нет проблем со сложностью на таком уровне, а человек все равно это сам переписывать не будет. Так какая разница, что там наваял агент?

Думаю, что отказ от ревью агентского кода человеком — это не опция, а неизбежность. Иначе все это не имеет смысла, мы все равно не успеем перепроверять работу агентов. Скорее нужно фокусироваться на способах проверки качества, непрерывном тестировании. Т.е. относится к программе / коду как к черному ящику. Что-то подобное мы с Русланом обсуждали в подкасте.

Кстати, товарищи разрабы, вы когда последний раз напрямую с памятью работали?

Где-то внутри меня умирает стример, давайте спасать.

В среду с Женей Янченко играем в симулятор Кафки. Буду задавать тупые вопросы про ее устройство, порядок и гарантии доставки, как все это можно сломать (дада, можно), и зачем вообще все это.

Регайтесь, можно свои вопросы про Кафку скинуть в комменты или в формочку.

Кстати, очень рекомендую канал Жени @jane_yanchenko, один из редких каналов, где интересно и глубоко пишут про технику на базе личного опыта, а не весь этот нейрослоп с банальщиной и карточками.

Есть у некоторых ролей специфичные болячки особенности:

Архитекторы и техлиды — хайлоад, масштабирование, НФТ. С бизнесом потом разберемся.

Аналитики — корнер кейсы, брокеры, хранилища, интеграции. НФТ записали, они как-нибудь сами обеспечатся, немаленькие уже.

Сегодня вечером возьму кусочек темы: как обеспечивают масштабируемость, когда нужна балансировка трафика, как она работает, и что об этом стоит знать.

Как обычно, вся движуха происходит в клубе. Вы знаете, что делать.

Впервые уперся в лимиты чатгпт, все-таки они существуют. Astra хороша.

#AI

Человек хорошо раскрывается, общаясь с теми, кто слабее или зависим от него: сотрудники, дети, работники в сфере услуг и т.д. Особенно, когда нет внешних наблюдателей.

Очень показательны в этом смысле чатики с ии: где-то на уровне подсознания мозг все равно распознает его как нечто человекоподобное, а негативных последствий никогда не будет (если ты не ждешь скайнет).

Нет, за чужой перепиской охотиться не надо. Но если диалоги регулярно бесят, то полезно присмотреться, когда и почему. Вангую, с людьми похожее тоже срабатывает.

Это как AI-психотерапевт, только без AI и психотерапевта.

Есть у меня бот, которого пилю в клоде. Постепенно он обрастает сценариями, для управления внутри реализована стейт машина. В код с самого начала почти не смотрел, никакие принципы разработки и проектирования не прописывал, и вот вчера открыл проект почитать...

Угадаете, как выглядит эта стейт машина?

Все верно, это бесконечная портянка вида "if поле == строка" бесконечной вложенности.

Какие выводы можно сделать из этого примера?

• Если умеешь в код, то нужно прописать в проекте главные принципы, поревьювить дизайн и временами заглядывать в критические части проекта, добавляя новые правил при необходимости

• Если код в жизни не видел, то регулярно проси мощную модельку провести аудит, зафиксировать беклог, сделать рефакторинг.

• Кококо, херня этот ваш вайбкодинг, через год-два все развалится, кого вы там заменять собирались

Узнал про забавный факт. Учёные решили исследовать жизнь собаки и прицепили ей на голову камеру. Из камеры они узнали лишь то, что 90% времени собака пыталась снять эту камеру. Кажется, это именно то, что нужно знать про метрики и KPI.

Завтра проведем открытую сессию систем дизайна в Tech Analyst Club, будем проектировать LMS, учебный год все-таки. Приходите, это бесплатно, но нужно зарегаться в ботике.

Знания — яд
Учеба — прокрастинация

Третью строку для кликбейта не придумал, подсказывайте.
———

Четыре года назад я писал, почему курсы бесполезны, если вы не привыкли учиться самостоятельно.
———

Лет десять Дорофеев рассказывает, почему обучение — это не потребление "знаний", а их осмысление и применение к практике:

Когда получение знания не уравновешивается его осмыслением и применением на практике, наступает своего рода отравление знанием

На входе в его сознание формируется фильтр: "Я это уже слышал или нет?" Если новая информация хоть как-то похожа на то, что человек уже знает, он пропускает ее мимо ушей

Вот его доклад с кодфеста, очень рекомендую.

———
В XVI веке Монтень критиковал людей, которые непрерывно потребляют мысли из книг, вместо того, чтобы формировать собственные суждения:

Сильная память обыкновенно соединяется со слабым суждением

Мы берем на веру знания и мнения других людей

Следует спрашивать, кто лучше образован, а не кто больше знает

———
В 2026 году получение обучающего контента вообще не представялет никакой проблемы. Причем выделить из него качественный без погружения в тему все равно не получится. Поэтому первично осмысление, критическая оценка, применение на практике.

А выводы писать мне лень. Всех с праздником

Architecture Trade-Off Analysis Method

На последнем митапе меня обвинили в излишнем снобизме по отношению к аналитикам. Успех ящитаю. Теперь добавим пафоса.

Например, эту идею анализа решений можно обозвать Trade-offs Analysis Framework - ToAF. Красиво же?

Но почему-то я не слышал про аналоги, хотя есть достаточно форматов для фиксации решений. Пошел гуглить, раскопал ATAM - Architecture Trade-Off Analysis Method.

Тяжеловесный метод для обстоятельной оценки решений, который за 15 лет особой популярности не набрал. Полный процесс анализа пересказывать не буду, выделил интересное.

Метод крутится вокруг измеримых quality attributes (они же НФТ), хотя ничто не мешает смотреть на другие характеристики. Причем работают с ними через Quality Attribute Scenario, которые связывают атрибуты качества и конкретные цифры, что-то в таком духе:

При падении primary DB при пиковой нагрузке (более 5000 заказов в минуту) система должна восстановить обработку заказов не более чем за 30 секунд без потери уже подтверждённых заказов.

Если хочется формальности, то можно использовать шаблон:

- Source: отказ primary DB
- Stimulus: primary DB недоступна
- Environment: нагрузка 5 000 заказов/мин
- Artifact: система обработки заказов / persistence layer
- Response: failover и возобновление обработки
- Response measure: восстановление ≤ 30 с; потерянных подтверждённых заказов = 0

Дальше из таких сценариев собирается Utility Tree (Дерево Полезности?), где для каждого листа указываем важность и степень риска: Low, Medium, High. Фактически, это аналог приоритезированной таблицы. Примеры на картинках.

Отдельно при анализе выделяют:
• sensitivity point - решение или его часть, которое сильно влияет на один из quality attributes
• tradeoff point - решение, которое влияет сразу на несколько quality attributes, причем двигает значения в разные стороны.

Полезные термины, т.к. заставляют думать о последствиях.

Идея идти от сценариев хороша, т.к. помогает ответить на вопрос: а какие quality attributes или характеристики системы в широком смысле нам сейчас важны? Правда на больших задачах там будет 100500 таких сценариев, и придется думать об их полноте.

В целом подход выглядит интересно прикольно, но сложно. Хотя можно для небольших решений адаптировать.

• Если есть желание упороться, вот большое подробное описание метода
• Еще можно посмотреть, как ATAM использовали на реальном проекте, картинки из этой презы утащил.

Мб кто-то пробовал на практике? Как впечатления?

#оффтоп #ненависть

Скажите, что должно случиться с этим миром, чтобы люди перестали сравнивать ESB с брокерами? Уж лучше бы про PUT vs PATCH спорили.

Краткая памятка из шиномонтажа.

Мне тут шок-контента подвезли.

Знакомьтесь, Ольга. Два года назад она прошла курс по интеграции и архитектуре. По всем традициям жанра тут должна быть невероятная история успеха. Но нет, случилось ВНЕЗАПНОЕ.

Ольга пришла на курс второй раз. Нужно пафосно написать, как это круто, и какая у нас огненная программа, но вы и сами догадались.

А еще сейчас в группе всего 8 человек, поэтому сможем лампово и размеренно разобрать все волнующие вопросы.

Начинаем в субботу, запрыгивайте.

#API #интеграция

Не верю, что снова пишу об этом... но в интернетах опять кто-то неправ.

Есть два реста между прошлым и будущем: REST-как-архитектура и REST-как-апи.

REST как архитектурный стиль - это та самая работа Филдинга, в которой он описывает 6 ограничений, которые нужно накладывать на распределенную систему, чтобы получить определенные свойства. И это вообще не про API и не про HTTP.

В этом смысле REST можно ставить в один ряд с SOA, MSA и другими арх стилями.

REST как стиль API - неформальное понятие, родившееся на фоне холиваров "Как правильно использовать HTTP" и "И что же такое RESTful-сервис". Тогда Лео Ричардсон предложил модель зрелости REST API, которую приняли Филдинг и индустрия.

Строится она на том, на сколько "правильно" мы используем HTTP-глаголы, проектируем URL, ресурсно-ориентированы, и вообще поддерживаем гипермедиа. Поэтому REST API в отрыве от HTTP никто особо не рассматривает. Кстати, по версии Филдинга, настоящего REST API почти никто не видел.

НО

На прошлой неделе я узнал, что существует протокол CoAP - Constrained Application Protocol. Там буквально взяли семантику HTTP и перекроили под специфику IoT, плюс он работает поверх UDP. Спасибо чатам за ночные срачи.

Если задуматься, то и честный GraphQL в этом смысле можно отнести к REST API. Причем реста там будет больше, чем в "каноничном" REST API over HTTP. Но вслух об этом лучше не говорить, конечно.

Вся эта метафизика в реальности никому особо неинтересна. Про REST-как-архитектуру давно никто не думает, хотя отдельные персонажи продолжают спрашивать на собесах (кстати, зачем?). Когда обсуждают ресты, скорее всего подразумевают REST API второго уровня зрелости.

А морали не будет. С окончанием понедельника вас.

———
29 августа стартует курс Интеграция и архитектура систем для опытных системных аналитиков