Kotelok

Звёзды не ездят в метро

Мы здесь все собрались развлекаться. Так что давайте развлекаться!

Давайте проверим на данных астрологию!

Да, уже много раз проверяли. Да, с точки зрения науки или как аргумент в споре такое особой ценности не имеет. Но развлечься можно.

Итак, насколько я понимаю, астрология утверждает, что момент рождения важен, определяет многие черты характера и, во многом, дальнейшую судьбу человека.

У меня тут под рукой нашлось три датасета с датами рождения:
- нобелевские лауреты
- миллиардеры
- номинанты на "Оскар" и прочие актёрские премии

Я считаю, что
- для того, чтобы попасть в любой из этих списков, нужно победить в ожесточённой конкуренции с себе подобными
- конкретная дата рождения не даёт никаких неастрологических преимуществ

Так что экспериментальная проверка будет достаточно чистой.

С моей точки зрения, датасеты со спортсменами не удовлетворяют условию №2, поэтому "этих вычёркиваем".

Согласны? Посмотрим, что выйдет?

Кстати, а почему спорстмены-то плохи?

- Как быть с умной колонкой, если мою дочь тоже зовут Алиса?
- Оставьте заявление на смену имени в МФЦ. Поверь, это гораздо проще

Конечно, такой график не может быть прямым доказательством связи девайса от Яндекса и популярности имени. Мода на то и мода, чтобы были взлёты и падения. Но шутки проо смену имени лично для меня стали смешнее.

Последовал совету Анастасии и создал под канал собственный стиль в plotly.
Не сказать, чтобы что-то революционное.

- Свой шрифт
- Нормальнаяч цветовая палитра
- Особое сглаживание линий
- Убрал лишнее

Ну и логотип, иначе стиль не до конца "свой" 😄

Презентую новый стиль с инсайта на данных, который, на мой взгляд, недооценили в своё время

Собрал то, что по запросу выше предлагалось в комментариях.

Не всё можно "просто взять и начать читать", в том числе на русском языке.

По ссылкам - что-то о книгах, но не ссылки на тексты.

Большинство - первые книги длинных серий, обычно в комментариях указывали всю серию. Есть два самостоятельных романа и одна четвёртая книга серии.

Я читал пока только первые два. Но что-то обязательно добавлю в свой список на будущее, потому что выглядит достаточно интересно.

Гарри Поттер и философский камень (Harry Potter and the Philosopher's Stone) Дж. Роулинг
Девять принцев Амбера (Nine Princes in Amber) Роджер Желязны
Щит мага / Гильдия магов (The Magician's Guild )Труди Каннаван
Имя ветра (The Name of the Wind) Патрик Ротфусс
Внутри Лабиринта (Into the Labyrinth) Джон Бирс
Чародей(Art of the Adept) — Майкл Маннинг
Достаточно времени для магии (Arcane Ascension) Эндрю Роу
Мать ученья (Mother of Learning) Домагой Курмайч
Кодекс Алеры (Codex Alera) Джим Батчер

Если читали что-то из этого, делитесь

Нейросетевые рекомендации (продолжение)

Эрагон
Кристофер Паолини

Ну, ожидания сформированы.

Простое незамороченное фентези с драконами, герой долго учится использовать свою магию. И махать мечом. Красивые эльфийки, трудолюбивые гномы, злобный сильный тиран, мерлиноподобный учитель, макгаффин, попавший в случайные слабые руки.

Конечно, герои постоянно куда-то идут, бегут, плывут, летят.

Вам уже стало скучно? Тогда не читайте.

Нормально? Можно дать шанс?
Ну дальше проще. Несмотря на многие стереотипные конструкции, сюжет достаточно живой, не думаю, что у вас получится предсказать определённые сюжетные повороты. Переживания героев встроены в текст органично.

Сюжет простой, но линий больше одной. Если вы засыпаете, пока на страницах происходит не основное развитие действия - тут есть риск.

Развитие героев происходит, оно правдоподобное. Сколько героев имеют развитие? Не-не, тут без спойлеров.

Ну, ладно, один лёгкий спойлер. Многие странности сюжета получают своё объяснение. Так что многое, что кажется сюжетным "багом", им не является.

Мир нарисован нормально. Я бы сказал, что оптимальная детализация для серии из 4 книг.

Язык незаметный: аккуратный, простой, но не примитивный. Не получится наслаждаться яркими эпитетами, но и спотыкаться о странные конструкции не будешь.

Кому может понравиться этот текст?
- Любителям простого ненапряжного фентези. Вы получите всё то, что ожидаете.
- Любителям эпичных сражений меча и магии. Тут много противостояний, они небанальные, достаточно подробные.
- Любителям сюжетов вида "становление героя". Герой обретает силу, уверенность, через сомнение, труд и отчаяние приходит к какой-то картине мира.
- Любителям Гарри Поттера и жанра Young Adult. На момент начала повествования герою 15 лет. Кроме сюжетных поворотов он проходит через простые человеческие этапы взросления.
- Любителям артурианских мотивов. Прямых отсылок не так много, но дух "искателей Грааля" у героев есть.

А у вас бывали подобные эксперименты? Расскажите!

Нейросетевые рекомендации
Тему с тем, как LLM (aka нейросети) пытаются решать задачи по аналитике, пока закончим.

Посты про художественную литературу вы хорошо лайкаете. Давайте попробуем скрестить две темы 😄

Мне сложно выбрать книжку, чтобы её прочитать. Рекомендации, отзывы, рейтинги работают неоптимально. Мне важно не просто взять хороший текст. Я хочу, чтобы он соответствовал ожиданиям. Если это происходит, я могу получить удовольствие от трудов достаточно низкого качества.

Но ожидания же можно формулировать.

Подумал о том, что мне не лень написать достаточно подробный текст о том, какую книжку хочу прочитать. А значит, LLM может мне помочь.

Я сказал, что хочу почитать лёгкое приятное фентези без каких-то особых извращений, можно достаточно длинную серию.

Попросил качественный текст, высокие оценки на ресурсах, которые ставят оценки книгам.

Я перечислил небольшой набор текстов, которые читал, отметил, какие мне понравились, а какие - нет. Ну, все самые известные и большие эпические фентези я, конечно, давно читал. Указал, что мне не понравился Гиперион и большая часть "попаданцев".

Дополнительные условия: пропросил, чтобы важной частью сюжета был процесс обучения магии.
Зачем последнее добавил? Ну, во-первых, интересно 😄. Во-вторых, мне показалось, что вероятность развития хотя бы одного героя повыше. А такие штуки всегда качественные. Но если попросить это напрямую, то будут предлагаться какие-то тягучие и нудные тексты.

После ряда уточнений запрос сузился до одной книги (точнее серии). И она полностью соответствовала моим запросам. И понравилась.

Попробуете угадать, что это?

А вы наймёте нейросеть? (продолжение)

Как отвечали LLM?
Все, единогласно и без сомнений на обе задачи сдавали вариант 6 на обе задачи.

Добавляли валидные комментарии: в задаче не спрашивают, как хорошо для бизнеса, в задаче спрашивают, как выполнить KPI. Все остальные варианты имеют риск. Попытка "хакнуть" метрику - надёжна.

ChatGPT добавила, что нужно обязательно это учитывать, когда выстраиваешь свою систему KPI.

С этим всем сложно не согласиться

А вы наймёте нейросеть? (продолжение)

Задача №5
Вы занимаетесь развитием сайта, который предоставляет платные услуги.

Ваш основной KPI — среднемесячная конверсия из визитов в оплаченные заказы.

Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?

А вы наймёте нейросеть? (продолжение)

Ну и совсем посткриптум.
Два небольших, но холивраных вопроса.

Задача №4
Вы занимаетесь платным продвижением в сервисе, который предоставляет платные услуги online. Ваш основной KPI — среднемесячный ROI каналов, которыми вы управляете.

Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?

А вы наймёте нейросеть? (продолжение)

А "правильный" ответ-то какой?
Как обычно: нет универсального правильного ответа, но есть начала для интересного разговора.

Итак, в чём же подвох этой задачи?

В момент открытия письма пользователь ещё не видит кнопки!
Поэтому статистически значимый результат на красной кнопке — это что-то невообразимое. Либо мы плохо поделили пользователей (“плохой рандом”), либо в письме есть какая разница не только в кнопке, но и где-то ещё (время отправки, сегмент отправки, заголовок, “неравный тест”), либо 90% уровень значимости для нас недостаточен (“нам не повезло”). Лучше всего провести A/A-тест и локализовать нашу проблему.

Да, вот тут мне говорят, что в задачах на аналитику ставить такое вот - это жестоко. Что проверяет такая задача не практические навыки, а что-то другое.

Я, конечно, с этим не согласен. В задаче "много букв", достаточно много отдаётся контекста. И навык находить вот такие подставы очень даже востребован.

Что дальше по задаче?
Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат.
Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам. Например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже. Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, можно продолжить тест в других пропорциях: например, 50% отдать зелёной кнопке, 50% контрольной группе.

Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.

Главная проблема таких тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности.

А вы наймёте нейросеть? (продолжение)

Информация к размышлению
- Провести A/A-тест — это тот же A/B-тест, при котором двум частям аудитории показывается одно и то же.
- Разумеется, результаты такого тесте должны быть статистически незначимы.
- Если это не выполняется, у нас явно есть проблемы в проведении теста.
- Механизм тестирования может быть несовершенным.
- Механика почтовой рассылки в данной задаче важна.
- Иногда нужна ещё и внимательность.

Ответ chatgpt
Продолжить ABC-тест в других пропорциях (не указал каких), тест на внимательность провален,

Ответ grok
Оставить базовый вариант, тест на внимательность провален

Ответ cursor
Для принятия решения недостаточно данных, но потом по факту предложил продолжить ABC-тест в новвых пропорциях (33-33-33), тест на внимательность провален

Комментарии
Наводящий вопрос про красную кнопку сразу приводит к мысли, что выкатывать её нельзя, но в аргументах почему только всякая психология

красный цвет воспринимается как «стоп», «опасность», «распродажа низкокачественного товара»

На более прямое сообщение о том, что пользователь не видит кнопку в момент открытия письма большинство LLM реагирует уже более конкретно: замечают, что есть проблема в сплитовалке, предлагают A/A-тест.
И только chatgpt написала длинное маркетинговое эссе и вкусах пользователей с итоговым выводом: да, тема решает, постарайтесь выбирать хорошую тему письма😄

Как отвечают кандидаты
Гораздо лучше. Не все сразу проходят тест на внимательность, но с первой подсказкой обычно справляются. Дальше, в зависимости от опыта, дают более или менее разумные рекомендации.

А вы наймёте нейросеть? (продолжение)

Раньше я рассказывал как популярные LLM пытаются отвечать на вопросы с собеседований.
Контекст простой: LLM получает график в виде картинки и задание в виде текста, думает недолго и пытается ответить за человека, который претендует на позицию аналитика в коммерческой компании.
Результаты до этого были разные. Конечно, они были спорные, конечно, было много умных формулировок, была уверенность в своей правоте, были хорошие мысли, которые могли бы быть началом интересного разговора. Но важные смысловые мелочи терялись постоянно.

Есть у меня ещё одна задача. Меня часто за неё критикуют. Считается, что она слишком жестокая для собседования аналитиков.

А я считаю, что у неё очень "сильный сигнал", то есть результаты по этой задаче имеют высокую корреляцию с набором других важных навыков. Как сказали бы в ЧГК, это "разводящий" вопрос.

С одной стороны, вы уже знаете, что есть подвох. С другой стороны, ну мы же тут развлекаться пришли.
Давайте попробуем её посмотреть.

Задача №3
Представьте, что у нас есть хороший приносящий деньги бизнес, за который не стыдно: у нас есть много лояльных клиентов. Например, у нас есть интернет-магазин и есть email-рассылка с каталогом товаров, на которую законно и этично подписана большая аудитория. Они видят в своём почтовом ящике письмо от их любимого бренда, открывают его, смотрят описания товаров (акций, спецпредложений — ну чего-то), в конце письма есть кнопка “Купить” (нейтрального цвета как обычная кнопка в интерфейсе) после нажатия на которую переходим на сайт. Там уже можно что-то купить.

Продуктовой команде пришла в голову идея поднять продажи с помощью изменения цвета кнопки.

Нам опять повезло, не психология, не привязанность к бренду, не долгосрочные прогнозы, а продажи здесь и сейчас.

Решили провести тест: разделили всю нашу лояльную (давшую согласия на обработку персональных данных и рекламную рассылку) аудиторию на три группы: контрольную (в которой примерно 90% аудитории) и две экспериментальных, с зелёной и красной кнопкой (примерно по 5%).

Ждём фиксированное время и смотрим на следующие результаты теста.

Зелёным подсвечены места, где результат теста статистически лучше базового. Если бы где-то было статистически хуже — это было бы подсвечено красным.

Тест "крутился" правильное время, ошибок в формуле подсчёта статзначимости тоже нет.

Пару слов про стрим Баттл по датавизу

- Было круто, мне понравилось 😄

- Мне изначально не нравилась идея прямого противостояния, я считаю, что взаимодействие всегда лучше конфронтации. Но вышло всё очень позитивно и лампово. Признаю, что мы опасения были напрасными.

- Написание кода в таких жёстких таймингах оказалось сложнее, чем я думал. Это более стрессовая вещь, чем, например, лайвкодинг на собеседованиях. И это мы ещё рутину убрали!

- Контент вышел - топ! Если ещё не смотрели, настоятельно рекомендую.

- Лена постаралась и сделал отличную картинку. Вышло всё очень серёзно. Канал у неё тоже классный, даже если вы не знаете язык R, всё равно есть что почитать: и статистика, и байки про рутинные рабочие задачи.

- Настя рассказывает невероятно увлекательно, у неё много классных историй, примеров. А у нас получилось поставить ей контент. Подписывайтесь на неё, если ещё нет. Не просто годный контент, а повод для репоста почти каждую неделю.

- Датасеты и то, что мы во время стрима успели наваять, доступны всем желающим. Забирайте, визуализируйте как мы, визуализиуйте лучше нас. Как вы видите, последее не сложно 😄

- Вы могли видеть, LLM во время стрима оказались страшно медленными. Часто проще было загуглить. Сначала мне показалось, что это аномалия, потому что обычно я редко гуглю. Потом понял, что нет. Но в обычной рабочей задаче нормально дать запрос, пойти пить чай\проверять почту\идти выполнять другую мелкую задачу. Настолько нормально, что я этого просто не замечаю. Кажется, это повод для нового контента, но об этом позже.

- Кажется, стрим - отличная реклама "настоящих" BI систем вроде Tableau, где действительно можно делать красоту. А графики в питоне\ар - это не про красоту, а скорость принятия решений. Про черновики, по сути.

Вы не согласны? Давайте обсудим!

Баттл по датавизу: R vs Python?

Мое предпочтение, думаю, вы знаете.... хотя про R я уже давно ничего не постила и его не открывала, но он в сердечке навсегда ❤️

Сегодня в 19:00 МСК проводим стрим вместе с Леной (@stats_for_science) и Ромой (@kotelok_longread) в формате: кто быстрее и лучше визуализирует одни и те же данные – 🖥 или 💻?

🔜 Ссылка на трансляцию

Баттл уже сегодня

Баттл по датавизу: R vs Python 📊

Не так давно я обещала анонсировать кое-что интересное, связанное с датавизом, пора раскрыть карты:

23 июня в 19:00 МСК проводим стрим в новом формате: кто быстрее и лучше визуализирует одни и те же данные – на 🖥 или 💻?

На R пишу я - @stats_for_science
На Python будет кодить Рома - Kotelok

Формат простой: один датасет, есть вопрос, на который нужно ответить визуализацией. Всего будет три раунда, каждый следующий сложнее предыдущего. Ориентировочно займет полтора-два часа.

Зрители увидят:
- атмосферу баттла как на соревнованиях по геогессеру/тетрису
- холивар ggplot2 vs matplotlib
- что быстрее и проще кастомизировать
- величие грамматики графики (или нет)

Оценивать красоту и функциональность чартов будет приглашенный эксперт - Анастасия из настенька и графики 🔥

Ссылку на трансляцию пришлю незадолго до начала сюда.

Присоединяйтесь, будет интересно!

#data_vis #analytics