In Code We Trust

Слушал недавно выступление Андрея Карпатого, он там рассказывал про его время в Тесле, и интересным образом охарактеризовал Маска, что для того код - это истина в последней инстанции. Он часто не верит людям на слово, просит показать, как оно работает на уровне кода.

Очень часто, особенно для продуктов с историей, никто не в состоянии точно знать, как и что работает в продукте: требования меняются, ошибки вносятся, некоторые правятся, но не все. Существуют неэффективные циклы, плодящие ненужные SQL запросы или обращения к LLM. Продакт-менеджерам, не знакомым с программированием, достаточно сложно опираться лишь на слова других, но не верить каждому еще хуже (если ты не Маск).

Я сам часто сталкивался с подобными проблемами, поэтому преодолевал барьеры, разбирался с кодом. Обычно алгоритм выглядел так:
1) По аналитическим евентам я нахожу, где примерно выполняется та часть, что меня интересует. Поскольку, как продакт ты часто пляшешь от метрик и евентов, то простым текстовым поиском я находил нужную часть.
2) Дальше я читал код, благо мое программистское прошлое и знание английского мне помогали более-менее понимать, что происходит. Как же круто, что сейчас для этого есть LLM и можно попросить ее обьяснить, скопировав в нее код. Или вообще рискнуть и сгрузить ей в контекст весь репозиторий, и задать интересующий вопрос, засунув в Gemini Pro или другую модельку с большим контекстным окном. Обычно уже на этом этапе появлялись первые гипотезы/ответы, почему метрики не сходятся и евенты не так бросаются.
3) Далее, если я находил несоответствия, то просил кого-то из разработчиков (см. Author в файле) или автора самого большого количества изменений в этом файле за последнее время) подтвердить мое понимание и обьяснить, почему что-то делается именно так. Этого было достаточно, чтобы улучшить свое понимание продукта и метрик, или пофиксить проблему.

Самое сложное в этом алгоритме сделать именно первый шаг: открыть код в условном GitHub. Все остальное - теперь очень просто. Поэтому, если вы еще этого не делаете, то отложите все, получите доступ к коду, найдите текстовым поиском, где бросается важный для вас евент, и попросите LLM обьяснить эту часть. Обещаю, ваш мир более не будет прежним :)

В комментариях - переписка с 2мя разработчиками по следам одной такой проверки 😉