Teamlead Good Reads – ежедневные советы про менеджмент людей и команд

Эффект Даннинга-Крюгера под вопросом

На всякий случай напомню, что суть эффекта Даннинга-Крюгера состоит в том, что некомпетентные в какой-то области люди склонны переоценивать свои способности в ней.

В качестве доказательства этого эффекта чаще всего приводят график из оригинального исследования (первая картинка), в котором студентов просили дать прогноз своей оценки за тест, а затем сравнивали с реальной оценкой. Так вот, при более близком рассмотрении, этот график не выдерживает критики – если сгенерировать рандомные значения результата теста и самооценки, затем отсортировать людей по результату и побить на квартили, получится абсолютно такой же результат (вторая картинка). Он возникает просто из-за группировки, регрессии к среднему и сравнения двух не очень коррелирующих измерений – потому что самооценка зависит от миллиона разных факторов.

Короче говоря, само наличие эффекта не опровергнуто - людям правда свойственно оценивать себя неточно, и компетентность должна уменьшать эту погрешность. Но смело говорить, что чем человек тупее, тем он увереннее, потому что ему не хватает ума понять свою тупость, я бы точно не стал, как и приводить оригинальный график.

Как стафф инженеру найти достойные проблемы

Большинство компаний сходятся на том, что главная черта, отличающая стаффа от сеньора – это умение самостоятельно находить самые ценные точки приложения своих усилий. Вот простой алгоритм, как можно это делать:

👉Накапливайте знания о проблемах в вашей области компетенции, на которые жалуются люди.
👉Не бросайтесь на первую проблему, которая показалась важной. Дайте им накопиться, и беритесь за то, что проявляется хотя бы несколько раз для разных команд.
👉После того, как вы выбрали кластер связанных проблем, с решением тоже не спешите. Потратьте побольше времени на то, чтобы найти наилучшую форму решения, которая сможет закрыть сразу все эти проблемы.
👉До того, как начать полноценную реализацию, потратьте еще сколько-то времени на то, чтобы сделать дешевый прототип, показать его заинтересованным людям, и перепроверить, а туда ли вообще вы копаете.

Обратите внимания на классные пересечения со вчерашней статьей – ни один из этих пунктов не сработает, если главная ценность вашей компании – скорость.

Про скорость ради скорости

Задумайтесь – а насколько часто, когда вы пытались ускориться сами, или просили об этом команду, это действительно было важно? В нашей индустрии уже довольно давно стало моветоном не пытаться всеми силами оптимизировать time to market. А итоги у этого не всегда положительные:

👉Предложения замедлиться и подумать по умолчанию воспринимаются как контрпродуктивные.
👉Многие ненужные фичи делаются только потому, что их можно сделать быстро. Они дают ощущение прогресса, хотя на самом деле могут быть просто броуновским движением.

Реальная скорость происходит не от бездумной спешки, а скорее от противоположного – траты лишнего времени на то, чтобы принять нужные решения, убедиться, что задача всем понятна, и нужный контекст собран. И, что еще важнее, когда потрачено время на то, чтобы ответить на сложные неудобные вопросы вроде "а нужную ли вещь мы вообще делаем?".

Золотая статья!

Не понимать кодовую базу – нормально

Один из стандартных набросов на LLM – это то, что разработчики, слишком сильно полагающиеся на агентов, довольно быстро теряют понимание кодовой базы проекта. Но если задуматься – а насколько это понимание было и раньше, когда код писали руками? А если подумать не про сравнительно компактные кодовые базы, а огромные энтерпрайзные проекты?

Планируя изменение программы, мы всегда оперируем своей собственной теорией о том, как она работает. В больших кодобазах эта теория всегда будет неверной или неполной – просто невозможно все детали удержать в голове. Поэтому в любом случае нужно уметь работать в таких условиях – сжимать зубы, выдвигать гипотезы о том, как программа работает, проверять их, и обновлять свою теорию.

AI, конечно, усложняет поддержку теории об устройстве программы в собственной голове. Но, с другой стороны, он помогает гораздо быстрее поднимать контекст про незнакомые или забытые части системы, и очень быстро тестировать свои гипотезы – поэтому прямо однозначно сказать, что AI в этой части сделал все хуже, нельзя.

Огромная библиотека постмортемов

Кто-то собрал на одном сайте гигантскую подборку из 650 постмортемов от разных компаний. Использовать можно и для того, чтобы посмотреть, как деградируют ваши любимые сервисы, и для того, чтобы вдохновиться форматом и процессами.

Почему CTO сейчас стало особенно тяжело

Всю прошлую неделю в Твиттере обсуждали интересный тренд – многие CTO / VP of Engineering / Head of Development в стартапах и компаниях среднего размера сейчас жестко выгорают и увольняются, проработав буквально пару месяцев. Причины называют вот такие:

👉Роль, на которую их взяли, довольно расстрельная, с нереалистичными ожиданиями из-за AI
👉У компании нет никакой стратегии и видимого будущего с учетом изменений рынка, вызванных AI
👉В этой компании не получить так называемый AI-native опыт, который им точно в будущем для карьеры понадобится
👉Человек, на замену которого их наняли, уволился из-за тех же причин
👉Начать свой стартап сейчас в целом не очень сложно, деньгами в хороших инженерных лидов готовы кидать
👉СЕО словил AI психоз, перешел в founder mode, и работать стало невозможно

Ну а вообще вакансии для инженерных руководителей сейчас как будто бы разделились на два типа:

1️⃣Наша компания умирает из-за AI, пожалуйста, спасите нас и сделайте AI трансформацию разработки. Все сильные люди уволились. Никого нового сильного нанять вы не сможете. Платить мы вам сможем примерно как стафф-инженеру в бигтехе. Но вот если все поправите, получите премию!
2️⃣У нас переоцененный AI стартап, пожалуйста, помогите нам начать делать настоящие AI штуки. У нас никогда не было технического лида, только 25 летний кофаундер, который разобрался с консолью AWS. Платить мы вам сможем примерно как стафф-инженеру в бигтехе. Но вот если все поправите, получите премию!

Короче, цитаты твита и реплаи там прямо золото, рекомендую почитать!

Что общего у рынка труда журналистов и программистов

Традиционная журналистика уже достаточно давно умерла. В 2008 году в результате финансового кризиса из прессы ушли рекламодатели, и кучу штатных журналистов уволили. Они пошли во фриланс – и обнаружили, что на пару десятков заказов в месяц отзывается десятки кандидатов в день. При этом университеты продолжали выпускать новых журналистов, профессия годы до этого была на хайпе.

Рынок работодателя сразу же создал несколько довольно знакомых нам явлений. Для начала, вокруг отбора кандидатов появилось много ритуальных бессмысленных действий. Это привело к тому, что получение заказа стало отдельным искусством, и работу стали получать не лучшие авторы, а те, кто лучше всего умел под эти требования адаптироваться. Ну и, конечно же, появились волчьи сообщества, которые учили журналистов получше продавать свои питчи и проходить гейткипинг.

Что происходило с журналистами дальше:

👉Мидлы вымерли. На рынке остались начинающие фрилансеры, работающие за копейки, и завездные опытные журналисты.
👉Выжившие ушли от гейткиперов. Самые сильные авторы перестали пытаться пробиться к редакторам в издания, и стали независимыми – открыли рассылки, сделали подкасты, сколотили собственный бренд. Гейткипер при этом, конечно, остался – но теперь это не редактор-человек, а алгоритм ленты в соцсетях.
👉Сместился дефицит. Раньше им было место в журнале, теперь – доверие читателя к конкретному имени.

Что из этого можно перенести на рынок программистов – вопрос хороший, и упирается он в то, конечен ли спрос на программистов, или нет (парадокс Джевонса и вот это все). Пока все показывает на то, что на самом деле спрос конечен – люди не начинают ставить себе больше приложений на телефон, а компании не то, чтобы успешно диверсифицировали свою продуктовую линейку и запускали кучу новых успешных продуктов.

Управленческие антипаттерны, характерные для России

👉Гиперцентрализация, когда все решает один человек. Иногда вырастает до культа личности основателя, который плох с двух сторон – если такой человек уходит, компания разваливается, а если остается – то компания начинает копировать все его недостатки.
👉Отсутствие стратегии и в целом короткий горизонт планирования.
👉Кумовство – при найме предпочтение может отдаваться личным отношениям, а не реальным компетенциям.
👉Недостаточная работа с людьми, из-за чего текучка получается довольно большой, а навыки и эффективность не особо растут.
👉Непрозрачная бухгалтерия. С одной стороны, это ведет к тому, что бизнес не получится продать, как не получится и найти желающих в него инвестировать. С другой – бюрократии в таких компанияз будет поменьше.
👉Рыночная конкуренция подменяется лоббированием, из-за чего игрвоое поле становится неравным. Побеждает в итоге не тот, кто работает эффективнее, а тот, у кого лучше доступ к госзаказу или политические связи.

Почему автономные фабрики софта не работают

Последние полгода из каждого угла говорят про то, что вот-вот агентская разработка эволюционирует до того момента, когда людей можно будет полностью убрать из этого процесса, заменив все полностью автономными фабриками. А если у вас это не получается, то skill issue. На самом деле все немного не так.

👉Модели становятся лучше только в вопросах выполнения одной конкретной задачи, но не в том, чтобы поддерживать кодовую базу в долгую. Поэтому спустя достаточно быстрое время такого развития, проект станет неподдерживаемым ни вами, ни моделью.
👉Так происходит из-за текущих механизмов reinforcement learning – определить правильное поведение и награду на горизонте атомарных задач легко, а вот на уровень выше уже очень сложно. За плохие архитектурные решения модели никак не наказываются.

Про comprehension debt

На прошлой неделе в посте про оргдизайн я вспоминал замечательную книгу Team Topologies. Одна из мыслей, которые мне очень запали в душу – это то, что зону ответственности команды надо проектировать с учетом ее ограниченной когнитивной емкости, а не просто закидывать в нее ответственность за все рядом лежащие компоненты.

Когнитивная емкость – это способность команды переварить когнитивную нагрузку. К такой нагрузке относится все, что команда должна понимать, чтобы самостоятельно безопасно обслуживать и менять свой продукт: бизнесовые правила, доменный язык, архитектура, устройство инфраструктуры и пайплайнов, интеграции с другими сервисами, особенности пользователей.

Когнитивная нагрузка появляется от двух видов сложности:

👉Intrinsic, неотъемлимая сложность предметной области. Как код ни упрощай, биллинг всегда будет сложным.
👉Extraneous, случайная сложность. Плохо организованный ручной пайплайн деплоя, много разных форматов конфигурации, лишние слои абстракции.

Так вот, агентская разработка, при всем ее великолепии, очень сильно влияет на когнитивную нагрузку. Во-первых, очень просто резко вырастить случайную сложность. Агенты любят оверинжинирить, писать обработчики для тридцати эдж кейсов, и городить те самые слои абстракций. Если не выстраивать правильную инженерную дисциплину, то уже этого хватит, чтобы когнитивная емкость переполнилась.

Во-вторых, разработка фичей ускоряется, и у эффективных менеджеров появляется соблазн закинуть в зону ответственности каждой команды побольше всего, или, наоборот, оставить зону ответственности такой же, а количество голов, думающих над ней, сократить. И тогда даже без учета выросшей случайной сложности, даже неотъемлимая сложность перестает помещаться в головах.

Так мы и получаем comprehension debt – головы разработчиков уже перегружены, их емкости не хватает, чтобы вместить туда что-то новое, и знание о том, как работает продукт, постепенно ускользает. Спустя короткое время, команда уже не может безопасно менять свою систему – количество инцидентов растет, а способность их предсказать падает.

С таким долгом можно бороться инструментальными способами, упрощая для человека понимание того, как работает система – ну условно показывать простые диаграммы вместо полотен кода. Но важно помнить, что, как информацию не сжимай, количество концепций, которые мы в голове можем держать – ограничено. И лучшее, что вы, как менеджер, можете в такой ситуации сделать – это удерживать количество компонентов, за которые отвечает команда, в пределах ее когнитивной емкости.

Еще про comprehension debt хорошо пишет у себя в канале Владимир Балун. Он руководил разработкой системы трейсинга с трафиком 11GB/s в Яндексе, поэтому набил руку на сложных системах, и знает, о чем говорит. Поэтому можете почитать его пост, а заодно подписаться на его канал, где он рассказывает о своем опыте программирования, разработке сложных высоконагруженных систем и просто делится своими мыслями о разработке.

AI внушает ложную уверенность

Можете добавлять себе еще одно исследование в копилку когнитивных искажений, которые появляются при взаимодействии людей из AI.

В этот раз сделали следующее – выдали группам испытуемых доступ к довольно слабенькой гугловой модели, и задавали им вопросы из категорий, в которых модели часто ошибаются – например, про визуальные детали из фильмов.

Наблюдения вот такие:

👉Доступ к AI снижает вероятность ответа на вопрос "я не знаю" с 44% до 3%.
👉Точность ответов при этом упала с 27% до 9%, а вот уверенность в ответе, наоборот, выросла в 2.5 раза, с 30% до 76%. При этом часть участников были готовы ответить правильно до консультации с AI, а потом поменяли свой ответ.
👉Добавление денежной мотивации почти не помогло, готовность признать незнание поднялась только до 8%, а точность до 16%.

Как строятся современные базы знаний

Команда Cerebras рассказала, как они построили свою автоматически обновляемую внутреннюю базу знаний, которую одновременно используют и люди, и агенты. Вот интересное:

👉База знаний строится поверх всех источников, в которых уже накапливается ценная информация – Slack, кодовая база, документы, Jira, Confluence и куча чего еще.
👉Самые полезные сведения лежат в Slack, так как в глубине тредов принимается куча важных решений. Вытаскивать ее оттуда тоже очень сложно, потому что мусорных обсуждений тоже много. В итоге сработала комбинация из полнотекстового поиска, эмбеддингов, механизма устаревания фактов, реранкинга более редких токенов.
👉Для поиска по коду используется опенсорсный фреймворк CocoIndex, который умеет пересчитывать индекс для каждого коммита инкрементально.
👉В базе знаний есть механизм плагинов, чтобы каждая команда могла добавить свой кастомный источник.
👉Помимо непосредсвенно поиска информации, сделали отдельный тул who_knows, который сразу выдает имена людей, релевантных поисковому запросу.
👉Информация агрегируется по проектам, чтобы сделать результаты поиска более релевантными.

Интервью в Weekend Talk

Я, кстати, совсем забыл рассказать две личных новости. Во-первых, я ушел из JetBrains, поработав там последний год как VP по продукту. Во-вторых, я решил выдохнуть от работы в корпорациях, и вышел работать в стартап CodeSpeak, где мы думаем над тем, как помочь людям продолжать разрабатывать поддерживаемые системы и не терять понимание того, как они работают.

Вообще, уже за первый месяц видно, насколько сильно работа в стартапе отличается от всего, к чему я привык – это касается и скорости принятия решений, и дефолтного уровня уверенности в них, и очень частой смены фокуса внимания. И, главное, того, насколько сильно нужно погружаться в сам продукт – это то, чего мне сильно не хватало последние много лет.

Так вот, я недавно сходил в гости в подкаст Weekend Talk, где рассказал Андрею Смирнову про оба эти изменения, а заодно много разных баек про жизнь в Шотландии, автоматизацию работы AI клуба, в котором, в отличие от конференций Podlodka Crew, я изначально решил не пытаться нанимать большой команды, и про свои мысли про будущее роли тимлида.

Про организационный дизайн для директора

Продолжаем серию заметок про то, какие навыки важны для директора. Вот тут можно почитать про развитие руководителей под собой и про принятие решений в условиях неопределенности.

Задача руководителя разработки – управлять системой, составляющими которой являются как люди, так и технические компоненты. Умные люди называют такие системы "социотехническими". Про ограничения, которые на всю систему накладывает ее техническая часть, в целом всем всегда интуитивно понятно – именно поэтому мы столько времени тратим на разговоры про трейдоффы разных подходов к архитектуре. Человеческая часть, на мой взгляд, имеет гораздо более определяющее значение. Оргдизайн – это главный инструмент, который есть у директора, чтобы менять ее контуры и возможности.

У меня нет какой-то единой стройной теории того, как работать с оргдизайном, но есть несколько отдельных советов и наблюдений.

👉Начну сразу с козырей, и порекомендую книгу Team Topologies. В ней довольно много лишнего, но первая часть – золото, потому что дает хороший набор строительных блоков, из которых можно дизайнить свою организацию, их интерфейсов для работы друг с другом, и ограничений, от которых стоит отстраиваться. Сильно помогает рассуждать про оргдизайн гораздо глубже, чем просто рисуя рандомные квадратики на доске в Miro.
👉Оргдизайн – это всегда политический вопрос. Размер команды, скоуп, зона ответственности, да даже название – все это напрямую влияет на статус людей, их власть и даже на зарплату. Поэтому про оргдизайн нельзя думать чисто рационально – люди будут сопротивляться, когда у них что-то забирают, или когда кому-то другому дают новую область ответственности. При любой реструктуризации обязательно заранее продумывайте, как она повлияет на всех, кого затронет, проговорите с ними лично, придумайте противовесы.
👉Команду важно вовликать в дизайн ее собственной структуры, но при этом продолжать держать в голове предыдущий пункт. Задача директора – отделять рациональные возражения от политических, и работать с ними по-разному.
👉Для нормальной работы с оргдизайном важны базовые представления о психологии групп и групповой динамике. Самый банальный пример – как только вы разводите людей по двум разным группам, вы строите забор между ними, и провоцируете разделение на "свой-чужой". Если для успеха важного проекта этим людям нужно работать сообща, то такое решение может быть не самым лучшим.
👉Нужно понимать, как организованы потоки работы и доставки ценности – где проходит критический путь, где на нем возникают передачи задач от одной команде к другой, где бутылочные горлышки, где вся система спотыкается.
👉У вас никогда не будет идеального оргдизайна. Меняется внешний мир, меняются цели, меняются внутренние компоненты системы, и ее нужно постоянно донастраивать. А для этого вам нужна собственная система сигналов о том, что происходит на ее входах, выходах, внутренних взаимодействиях.

Что сейчас чувствуют люди в IT

Я за последние пару недель провел пару десятков продуктовых интервью с разработчиками, на которых, помимо прочего, спрашивал, как вообще они себя ощущают в меняющейся индустрии, и что происходит с их инженерной идентичностью. То, что я услышал, почти полностью совпадает и с результатами опроса из заголовка:

👉Половина чувствует себя заряженными – им кажется, что они могут сделать гораздо больше классного, чем раньше. Вторая половина находится в разной степени стресса, разочарования и выгорания.
👉Говоря про выгорание – оно свойственно и первой группе. 56% опрошенных говорят о сильном градусе выгорания, тогда как в прошлом году их было 44%.
👉Одновременно с этим падает оптимизм относительно карьеры в нашей индустрии. Что интересно – больше половины опрошенных теперь активно отговаривают других идти работать в IT.
👉Все оценивают свою продуктивность как повысившуюся, а вот качество результатов стало хуже.
👉Самый сильно коррелирующий с выгоранием фактор – эффективность менеджера. Так что засучиваем рукава!

Как в компаниях реагируют на проблемы

👉Перекидывают проблему со своих плеч на чьи-то еще. Если получилось сделать так, что за нее отвечает кто-то другой, то локальный успех достигнут и все замечательно.
👉Оберегают проблему от решения. Такое случается, если вокруг этой проблемы уже построили какие-то команды, которые счастливо продолжают с ней бороться.

В статье чуть больше паттернов описано, но мне вот эти два прямо в душу легли, потому что ну как же много похожего я видел.

Как переписать 1М строк кода с Zig на Rust

Независимо от вашего личного отношения к AI в разработке, история миграции огромной кодовой базы Bun с Zig на Rust точно заслуживает быть прочтенной. Вы можете сколько угодно накидывать на качество получившегося в результате кода, но никакой видимой деградации качества пока что не произошло, а измеримые плюсы и для команды, и для пользователей появились.

Ну и вообще, самое главное в статье – это детальное описание самого процесса миграции. Именно так будет выглядеть какая-то часть наших инженерных задач дальше. Вопрос только в том, насколько большая.

Не используйте confidence в приоритизации

Во фреймворках для приоритизации вроде RICE вообще-то все буквы довольно загадочны, но особенно выделяется одна – Confidence. Обычно продакты назначают ее практически наугад – очень мало у кого есть достаточное количество данных, чтобы дать хоть сколько-то точную оценку, калибровкой этих оценок тоже никто не занимается. Но главная проблема вообще не в этом.

Confidence уравнивает оценку двух очень разных сценариев: маленького инкрементального улучшения, польза от которого всем понятна, и большой фичи с потенциально огромным импактом, но при этом очень рисковой. А это равенство на самом деле обманчиво, так как итогоаое влияние большого количества мелких фичей на порядки отличается от выстрелившей большой ставки.

Еще одно свидетельство бесполезности Confidence – у нас у всех есть десяток примеров, когда мы были абсолютно уверены в том, что фича нужна, а ее в итоге никто не использовал. Аналогично верно и обратное.

Поэтому более корректный подход – не пытаться ритуально танцевать вокруг оценки confidence, а принять, что будущее непредсказуемо, и предпринимать шаги, которые разумны независимо от распределения вероятностей:

👉Опираться на истины, которые будут верны всегда, вне зависимости от изменчивости рынка.
👉Побыстрее отправлять все идеи на проверку реальностью.
👉Фокусироваться только на потенциальном импакте фичи, и делать только самые потенциально важные штуки.
👉Определять области, в которых даже малые усилия дадут непропорционально большой результат, и инвестировать в них.
👉Сохранять опциональность – строить гибкие системы, которые в будущем позволят быстро среагировать на изменения.
👉Играть в асимметричные ставки. Это такие ставки, стоимость которых ограничена, а выигрыш – нет. Например, это любая импактная идея, которую вы можете протестировать, затратив на это заранее просчитанное ограниченное количество сил.

Симулятор сотрудника FAANG

Ну а раз мы заговорили про усердную работу, то известно, что никто не трудится больше, чем разработчики из бигтеха. Держите симулятор, с помощью которого вы можете оказаться на их месте, и попробовать выжить в корпоративной гонке, пока вас все еще не заменил AI!