Июнь закончился, и я готов поделиться, что интересного мне повезло прочитать за месяц.

Начну со знакомого автора — Павла Левчука. В этот раз он разобрал построение дерева метрик на Medium (VPN). Это иерархическая декомпозиция метрик верхнего уровня на дочерние, чтобы показать, как низкоуровневые измеримые показатели влияют на бизнес-цели. Павел обозначил подводные камни на первый взгляд простого разложения бизнес-метрик и рассказал, когда деревья помогают аналитику, а когда — лишь сбивают с толку. Например, декомпозиция может не учитывать внешние факторы, такие как сезонность или изменения в экономике, которые влияют на все показатели в цепочке. При работе с таким деревом мы не можем делать адекватные выводы о поведении верхнеуровневых метрик.

Далее предлагаю приподнять капот и посмотреть на внутренности LLM-агентов — программных систем на основе больших языковых моделей, способных самостоятельно решать, какие действия предпринимать для достижения поставленной цели. Кирилл Филипенко из Selectel в блоге на Хабр рассказал, из каких частей они состоят, как планируют свои действия, как хранят информацию и общаются с внешними инструментами. Мне понравилось, как понятно автор объяснил подходы планирования действий Chain-of-Thought, ReAct и Tree-of-Thoughts, а также затронул работу памяти и function calling.

Завершает топ статья о A/B-тесте и заблуждениях вокруг него. Диля Хакимова из Яндекс Go развеяла 10 мифов об A/B-тестировании и разложила варианты решений возникающих проблем по полочкам. В фокус попали мифы об агрегации данных, статистических тестах, метриках и проведении экспериментов. В заключение автор напоминает, что, хотя тема не новая и часто обсуждаемая, возвращаться к ней надо. Подобные упущения ведут к серьезным просчетам и противоречат идее принятия решений на основе объективных данных. Ну как с этим не согласиться!

#дайджест