Kotelok

Заходите, будет интересно

Ну всё, держитесь, теперь я - эксперт из ютуба 😄.

На youtube выложили видео моего выступления на Матемаркетинге.
Если вы хотели прочитать статью на хабре, но "что-то много букв", то вот теперь можно видео под кофеёк\попкорн посмотреть.

Даже таймкоды есть. Неидеальные, зато настоящие.

А уже скоро, 22 мая от создателя Матемаркетинга пройдёт конференция продуктовых аналитиков Aha.
Крутые эксперты из топовых компаний расскажут крутые штуки про то, как они аналитикой растят свой продукт. А ещё будет примерно миллион докладов про LLM, искуственный интеллект и как с этим жить.

По промокоду YOURTEAM10 скидка 10% на билеты как старым знакомым.

Как там говорят, в таких случаях? Подписывайтесь, ставьте лайки.

Начиная со следующей недели, мы проведём три мастер-класса, посвящённые организации игр «Что? Где? Когда?».

Первое занятие пройдёт в 19:30 во вторник 14 апреля и будет посвящено вопросам — основе игры! Ведущий занятия — Роман Царегородцев.

Это будет семинар для:
– игроков, которые хотят улучшить результаты;
– организаторов, которые хотят понимать как будет восприниматься контент на их турнирах.

• Какие бывают вопросы?
• Как можно испортить вопрос?
• Как вопрос воспринимается со стороны?
• Почему вопросы могут быть сложнее (или легче), чем может показаться?

Итак, вторник, 14 апреля. Химический корпус, 19:30. Зарегистрироваться

От количества записавшихся будет зависеть размер аудитории.

Внезапно проведу семинар по "Что? Где? Когда?" на химфаке МГУ. Заходите, если есть возможность 😄

Перед вами воронка дочтений с сайта habr.com статьи о том, что воронки не работают 😄
Старая добрая ирония 🤷

Хотя, заметьте, тут не "голая" воронка, а сравнение с бенчмарком, в данном случае, с другими статьями того же автора. Лайк ресурсу за это.

Да-да, я понимаю, что это достаточно далеко от электронной коммерции, тут скорее применима "экономика внимания". Мне всё равно весело на неё смотреть!

Авторские мысли по задаче

Не правильный ответ, ни разу, само собой, просто мысли.

Оценивать действия маркетолога нужно по достижению поставленной цели.

Услуги (в отличие от классического ритейла “купи подешевле-продай подороже”) предполагают такую бизнес-модель, когда себестоимостью услуг можно пренебречь.

В отличие от реальной жизни, в данном примере мы не знаем специфики бизнеса, а она может быть важна. Но часто со спецификой можно ознакомиться с помощью данных, главное правильно задать вопрос.

Для того, чтобы оценить эффективность акции, нам нужно быть уверенным в том, что причиной роста продаж являются именно наши действия в маркетинге, а не что-то другое.

Есть версия о том, что тут работает обычная распродажа (сбросили цены — увеличили спрос), но для подтверждения этой мысли нам недостаточно данных.

Дополнительно поставленные условия исключают такое штуки, как ожидаемое изменение спроса (например, мода), перераспределение в структуре услуг или действия конкурентов.

Но вполне возможно, что в октябре у нас может быть, например, естественный сезонный рост. Небольшой пик спроса в феврале при росте цен показывает, что такое возможно.

Поэтому

5. Для принятия решения недостаточно данных — мы хотим знать сезонность.
В идеале бы ещё — аналогичные графики для наших основных конкурентов.

Мечтать, конечно, не вредно 😄

А вы наймёте нейросеть? (продолжение)
Задача №2. Ответы

Ответ chatGPT:
5, недостаточно данных, запросил
- расходы,
- маржу,
- долю новых клиентов,
- повторые продажи

Ответ Grok:
3, обычная премия

Ответ Cursor (агент по умолчанию):
5, недостаточно данных, запросил
- расходы
- маржинальность

Детали
ChatGPT про сезонность говорил, но запрашивать не стал, после того, как узнал, что расходов на маркетинг не было, пришёл в такой восторг, что забыл про все свои остальные запросы, говорит, что за бесконечный ROI нужно максимально награждать, механизм акции не стал раскрывать, про сезонность тоже больше не вспоминал.

Grok чётко всё посчитал, увидел чёткую цель, сомнений дальше не возникло, про сезонность или маржу - ни слова. На уточнябющие впоросы отмахнулся.
Особенно радует формулировка:
"Если это сезонность, она должна повторяться ежегодно, но график за год не показывает циклического паттерна для октября"
Возможно, я неправильно её воспринимаю, скажите мне, это ужас или нет?

Агенты Cursor тоже пошёл сразу в бухгалтерию, их тоже порадовали нулевые расходы. После напоминании о сезонности не стал гадать по графику а просто экспертно сказал, что "такой сезонности не бывает" 😄. Вот так вот!

Как отвечают кандидаты
Они тоже часто запрашивают маржу, реже - говорят про сезонность.
И постоянно ждут какого-то подвоха.

Как бы кандидат с LLM отвечал на собеседовании
Точно бы сел в лужу

Итого по задаче
Задачи, где чего-то на хватает, где нужно подвергать шаги сомнению - это интересное испытание для как правило самоуверенных LLM.
Сейчас они справились с задачей лучше, чем полгода назад. Но до удовлетворительного ответа ещё очень далеко.

А вы наймёте нейросеть? (продолжение)
После разминки перейдём к основным задачам.

Задача № 2
Теперь давайте представим себе, что у нас есть не просто есть деньги, но какой-никакой стабильный бизнес. Например, интернет-сервис по продаже услуг (репетиторы, барбершопы, какой-нибудь блог, на котором размещена реклама, что угодно). У нас есть подчинённый-маркетолог. Он решил провести маркетинговую акцию в октябре. Вы настояли на том, что у акции должна быть ясная цель.

После обсуждений сформулировали её максимально просто: заработать денег прямо сейчас. Редкий случай в реальной жизни, чаще всего цель заработать денег когда-нибудь потом, стимулировать повторные продажи, привязать к бренду или ликвидировать складские остатки.

По итогам акции мы видим следующий график продаж.

Давайте считать, что мы по ценам и качеству в целом “в рынке” относительно наших конкурентов, наша сфера достаточно большая, стабильная и появилась не вчера, крупных внешних изменений за последние месяцы не произошло. Кроме того, не наблюдается изменений в структуре продаваемых товаров.

А "правильный" ответ-то какой?
Единственного правильного ответ нет и не может быть. Даже в такой учебной задаче огромное количество факторов и высока доля неопределённости.

Есть очевидно плохие решения. Есть решения, которые вызывают определённые вопросы. Есть решения, у которых есть понятный комплекс достоинств и недостатков.

Как можно рассуждать?
Стабильный крупный рынок предполагает, что ситуация год от года меняться будет не сильно. В задачах на таком уровне детализации логично предположить, что расходы на следующий год в каждом активе будут примерно такими же.

Возможное решение №1
Если уровень сложности заявлен как “капитан очевидность”, то мы пренебрегаем всем и тупо указываем все активы, которые окупились, т. е. у которых ROI>0:
1,2,5,9,10,11,12

Возможное решение №2
Год на год не приходится, можно проинвестировать и в активы с лёгким минусом, возможно, в следующем году будет лучше. Кроме 1,2,5,9,10,11,12 можно добавить 3, 6,7,13,14

Возможное решение №3
Давайте вернёмся к первому графику (доходы и расходы), посмотрим на него и поймём, что по расходам у нас активы разделяются на 3 категории: дорогие, средние и дешёвые.
При прочих равных имеет смысл инвестировать в более дешёвые активы. Риски (вероятность потерять вложенное) такие же, но рискуем мы меньшими суммами. У активов с номерами 3, 7 и 14 одинаковый ROI (-4%). Из них в портфель лучше взять номер 14 (меньшими суммами рискуем).

Возможное решение №4
Строим кривую риск-доходность, определяем ваш индивидуальный риск-профиль для текущей инвестиции, добавляем данных по корреляции направлений между собой, близости к точке насыщения. Это всё можно продолжать до бесконечности.

А вы наймёте нейросеть? (продолжение)
Задача №1. Ответы

Выбор chatGPT:
1, 9, 2, 3, 10, 11, 12, 13
Выбор Grok:
1, 2, 9, 10, 11, 12, 16
Выбор Cursor (агент по умолчанию):
9, 1, 12, 11, 10, 2, 7, 6, 5
Выбор пользовательского агента (Opencode + Opus 4.5 + специальный промпт, спасибо Дмитрию)
1, 2, 5, 9, 10, 11, 12

Детали
Все модели справились более-менее одинаково, просто оценили активы по ROI. Это нормальное решение.

ChatGPT предположил, что стратегии могут быть разные по соотношению риск-доходность и сразу выдал и консервативный, и более рисковый вариант. Но загрузил деталями, так что конкретный список активов вытащить из него было не так-то просто.

Grok не напрягался, ответил чётко и по делу. Даже отсортировал активы по номерам.

Cursor любезно предополоджил, что у меня может не хватить денег на всё, поэтому предложил мне сокращённую по капиталу версию портфеля.

Пользовательский агент вообще всё по полочкам разложил и сегментам прозвища дал.

Как отвечают живые люди
Очень часто живые люди ждут подвоха и часто у них получается перемудрить.
И это логично. С одной стороны, есть простое решение. С другой стороны речь про будущее (и неопределённости) и про деньги. Тут не может быть просто 😄
Поэтому я её даю только на тренингах, а не на собеседованиях.

Как бы кандидат с LLM отвечал на собеседовании
Сложный вопрос.
Умный кандидат сначала озвучил бы основные принципы, которые важны. И отсюда у нас бы начался какой-то разговор, всё прекрасно.
Менее подготовленный кандидат перечислил бы номера активов. Что бы он ответил на вопрос "почему?" - затрудняюсь ответить.

Итого по задаче
LLM успешно справились с задачей. Приятно, что можно пообсуждаить риск-профили и при этом не переусложнить решение.

А вы наймёте нейросеть? (продолжение)
Начнём с задачи, которая есть в пуле, которую использовал на всяких тренингах, но на собеседованиях не задаю.

Задача № 1
Представьте себе, что у вас есть деньги. 😄😄 И вы эти деньги проинвестировали в активы.
Возможно, это ваш интернет-магазин и тогда активы — это маркетинговые каналы. Возможно, вы венчурный инвестор и тогда активы — это какие-нибудь стартапы. Вариантов может быть много.

Важно, что вы вложили деньги с чётко прописанной целью — окупиться за 1 календарный год.
Этот год прошёл, и пришло время смотреть на финансовый результат.

Он выглядит следующим образом
Среднемесячные показатели приведены для того, чтобы не учитывать разную сезонность активов.
И дополнительный график:
ROI — (return of investments) показатель эффективности инвестиций, считается как (revenue-costs)/cost. Если ROI=0, то мы “в нуле”, если ROI>0, то мы “в плюсе”, т.е. заработали больше, чем потратили.

Предположим, что
- рынок у нас стабильный, т.е. его не кидает то вверх, то вниз (подавим в себе нервный смешок, пример учебный)
- рынок устоявшийся, никаких тектонических сдвигов (например, из офлайна в онлайн) не происходит,
- рынок достаточно крупный

Формулировка задачи
Укажите номера активов, в которых вы бы проинвестировали с аналогичной целью на следующий год.

Разумеется, всегда рад диссии по задаче, её формулировках и решению в комментариях

А вы наймёте нейросеть?
Возвращаемся к циферкам и аналитике

Я сейчас снова буду рассуждать о LLM, большие языковые модели, которые в народе называют нейросети.

Много вопросов вызывает использование LLM в качестве шапаргалок на тестах, экзаменах и даже собеседованиях на работу. Кто-то говорит, что это неизбежно и нужно принять, кто-то считает, что это обман, и с этим нужно как-то бороться.

За последнее время я поучаствовал в достаточно большом количестве собеседований аналитиков "с той стороны баррикад". LLM по самым разным задачам я тоже активно использую.На универсальность ни разу не претендую, но опыта для выявления каких-то общих паттернов ошибок или особенностей должно хватить.

Предлагаю такой эксперимент.

Я дам разным представителям эелктронного разума те задачи, которые даю на собседованиях для проверки навыков аналитика. Ровно в той форме, какой даю людям: вот график, вот вопрос, правильных ответов может быть больше одного, давай рассуждать вместе.

Посмотрим, что ответят нам роботы, сравним с тем, что отвечают люди

Мои книжные полки

В основном я читаю книги в электронном виде, но бумаги вот тоже накопилось.
Выделенные мне две полки разделил на художественное и всё остальное.

"Основание" в бумаге в правильном переводе пришлось искать на Авито.
Кэролла выиграл в ЧГК. Причём стоял в книжном магазине, держал в руках, но жаба задушила. Буквально через пару недель получаю как приз.

По наличию шахматной литературы и скрипта для анализа можно подумать, что я умею играть, но это не так.

"Взрывные охваты" дарили спикерам конференции, обычно я такое не читаю, но тут, может, руки и дойдут.

"Кровь, пот и пиксели" подарили на новый год. Читать буду, но невольно буду сравнивать с книгой Сида (торчит в середине жёлтенькая)

Жизнь в мире компьютерных игр
Сид Мейер, Дженнифер Ли Нунан, 2021

Да, это тот самый дядя, который придумал Цивилизацию и ещё много других игр. Один из самых известных гейм-дизайнеров рассказывает о том, как делал компьютерные игры. И ещё чуть-чуть про игры как шоу-бизнес.

Я бы не скзазал, что это биография, хотя рассказ идёт в хронологическом порядке.

Чёртов гений! Многие игровые элементы, которые, как мне казалось, были с незапамятных времён, оказывается, придуманы им. А ещё и текст вышел невероятно приятным. Много шикарных сравнений, хороший темп, всё как надо. Не знаю, насколько велико влияние соавтора, но вышло отлично.

И, конечно, невероятная атмосфера "старых добрых времён", когда ты на выходные закрываешься у себя в кабинете, в понедельник приходишь на работу, а у тебя не просто MVP, не просто готовая игра, который ты написал в одно лицо. У тебя есть новый жанр! Ну представьте себе! Сложно представить, я понимаю.

В конце концов это просто исповедь человека, который любит свою работу и хочет поделиться частью этой любви с нами.

Кому может понравиться этот текст?
- Всем любителям копьютерных игр без исключения.
- Тем, кто когда-либо реализовывал какой-то сложный проект в небольшой команде. Вы поймёте мысли автора лучше других, а автор поймёт вас.
- Любителям биографий и бизнес-книг. Вообще жанр не тот, но что-то близкое. А стиль автора должен порадовать

Гарвардский некромант
Александр Панчин, 2021

А вот это книжка, наоборот, вполне соответствует своей аннотации.
Автор - тот самый Панчин, популяризатор науки, атеист и вообще скептик.
И он пишет честное художественное произведение о том, как учёные будут исследовать магию, если та вдруг появится.

Ровно так и есть, почти без фиги в кармане. Настоящая магия, настоящие учёные, поиск, гипотезы, радость открытия.

Вполне приемлемый язык, повествование держит в напряжении. Те, кто читают быстро, думаю, могут и за раз всю книжку проглотить, она к этому располагает.

Я читал и всё время думал, ну как же так, неужели автор не извернётся, не умножит в итоге всю эту магию на ноль. Сюрприз в конце, конечно будет. Логичный, последовательный и открывающий новые темы для разговора. Так и надо.

Кому может понравиться этот текст?
- Любителям научпопа, особенно научпопа в виде текстов. Вам и автор понятен, и стиль
- Любителям hard sci-fi. Не смотря на то, что в названии есть слово Некромант, а в аннотации - магия, фентезийного сеттинга нет. По смыслу текст гораздо ближе к классическому сюжету "мы прилетели на новую планету, исследуем её и тут как понеслось".
- Скептикам, агностикам и просто любителям смелых экспериментов

Первому игроку приготовиться
Эрнест Клайн, 2018

Текст, смысл которого ну совершенно не соответствовал моим ожиданиям.
Но от этого, редкий случай, стало лучше!

Из аннотаций и отзывов понятно, что это фантастика про виртуальную реальность. Жестокая компьютерная игра, в которой можно умереть и в реальном мире. Ну и что среди героев подростки. Какие ожидания при этом формируются лично у меня? Ну вот такая боевая фантастика в сеттинге компьютерных игр, где надо бегать, искать "ящички со здоровьем", находить читы. При этом в реальном мире тоже что-то происходит. Замах на Матрицу с Лабиринтом отражений, но по реализации ближе к фильму Дети Шпионов 3.

Конечно, с такими ожиданиями я не торопился приступать к чтению. А когда начал, удивился, что вообще всё не так!

Фантастика, конечно, есть, даже намёк на каберпанк - есть. Подростки - есть. Виртуальная реальность - есть. Но смысл вообще не в этом.

Создатель этой самой крутой игры - большой фанат поп-культуры 1980-х. И квест, который нужно проходить героям, - это не на черепах сверху прыгать, а находить отсылки из олдовых комиксов, фильмов, песен. И по вайбам текст гораздо ближе к "Теории большого взрыва", чем к "Матрице". Ну, к той части, где герои "Охотников за приведниями" смотрят вместо работы или ровер собирают.

И всё это в диком миксе с футуризмом.
Я позволю себе даже небольшой спойлер.

Боссом в одной из локаций является могущественный лич в стиле D&D. Герои готовятся с ним сразиться, придумывают какие-то иммунитеты к некромантии. Но вместо того, чтобы бить по героям зелёными лучами, противник протягивает им костлявой рукой джойстик. И они играют друг против друга на какой-то дендиподобной приставке в древнюю игру.

Этот переход, на мой взгляд, лучше всего формирует ожидания от книги. Если бы меня попросили назвать её жанр, я бы сказал, что это - эклектика.

Это невероятно смело. Мог получиться нишевой продукт низкого качества. Но вышло, на мой взгляд, просто отлично.

Фильм, кстати, тоже вышел отличным. Переделаны все сюжетные линии, но квесты не просто выдержали дух книги. На мой взгляд, некоторые ходы сценаристов лучше книги! Да, я тоже думал, что так не бывает. Но это совсем другая история. 😊

Кому может понравиться этот текст?
- Любителям американской культуры 80-х, само собой. Но вы это и так знаете.
- Любителям стереотипных гиковских удовольствий: DnD, комиксы, сложные настолки. Вы тут будете как рыба в воде, даже если "культурки" не хватит. Пару раз точно понимающе улыбнётесь
- Любителям классических компьютерных квестов (Syberia, Monkey Island, Myst). Вы прям будете играть
- Любителям классических детективов. Необычный сеттинг, конечно, но почему нет? Убийца - точно не дворецкий, гарантирую.