Datalytics

Я тут сделал краткую выжимку инсайтов, которые показались мне полезными из нового отчета Маккинзи про состояние дел с внедрением ИИ в организациях

https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08

Когда собирал данные по опросу, то одной из самых болючих тем оказалась история про синдром самозванца. И оно кажется логичным, так как анализ данных — это с одной стороны быстро меняющаяся сфера, а с другой стороны — ёмкая в плане экспертности мнения. Можно говорить, что в анализе данных есть какая-то предельная объективность, но на мой взгляд это не совсем так

Так что делюсь своими размышлениями про синдром самозванца, может кому-то будет полезно

Говорили сегодня с подругой, которая не так давно переклафицировалась в QA-тестировщики о синдроме самозванца в IT-профессиях. И этот разговор навёл на некоторое количество любопытных мыслей

Синдром самозванца — это забавное и я бы даже сказал полезное расстройство, потому что оно заставляет успешных людей испытывать некоторую тревогу перед разоблачением. Что сейчас прибежит какой-нибудь Иван, который работает дольше тебя, и сорвет с тебя маску «гуру», а под маской... Кто же будет под маской... Тут без душераздирающих инсайтов — под маской будешь ты

Почему же синдром самозванца — полезный? Если научиться договариваться со своим внуренним самозванцем, то в определенный момент можно сделать его личным штурманом. Если обращать внимание на те моменты, когда у нас появляется мысль о том, что мы с чем-то не справимся и нас «разоблачат», то эту мысль можно попробовать перевернуть, что даст больше уверенности для того, чтобы идти вперед. Вот несколько примеров:

- Я не справляюсь с этой задачей и это будет конец моей карьеры → Я сейчас могу испытывать трудности, но результат этой задачи не определяет мою долгосрочную карьеру
- Я не сделаю это и все узнают, что я некомпетентен → Я имею право на ошибки, это позволяет мне учиться и совершенствоваться в своём деле
- Я не сделаю это на должном уровне и все поймут, что я бесполезен → Я приложу усилия, чтобы сделать это хорошо, но никто не выдаёт идеальный результат. Сделаю и посмотрю на обратную связь

И важная штука именно в этом переворачивании внутренних убеждений, чтобы сдвинуть себя из мертвой точки парализующей тревоги, убрать страх, ведь «страх убивает разум»

Со временем синдром самозванца становится спутником и вырабатывается привычка при первых его звоночках идти в какое-то начинание через смелость, говоря себе: «Пускай я сейчас в этом ничего не понимаю, выглядит сложно, и я не знаю что делать, но уверен, что по пути разберусь»

Лично у меня вряд ли будет такое состояние разума, что я перестану слышать внутри голос своего самозванца, это произойдёт только если я «успокоюсь» и буду ставить перед собой те задачи, которые уже когда-то решал, но с одинаковыми задачами мне скучно. И переживания в моем случае — это нормальная и нужная штука, потому что без переживаний я бы не кайфовал так в момент достижения результата. Эти легкие переживания приобретают флёр «несостоявшейся угрозы», когда оглядываясь назад понимаешь, что рисовал в своей голове больше преград, чем оказалось на самом деле

Без переживаний и сомнений можно, но как будто бы это возможно только в рамках очень узкой экспертной зоны. Иногда это хорошо, например, когда в команде есть сотрудник, глубоко погруженный в устройство определенной части системы, он становится таким «дедом-принципалом», к которому все ходят за советом. За рамки понимаемой системы он не выходит или выходит с неохотой

Бывает и другой типаж без сомнений в себе, но с кучей сомнений в других, такой «скучный профессионализм», без задора, но с большим количеством критики (надо признать, иногда конструктивной) такие люди черствеют в своей зоне экспертизы. Это не какая-то явная закономерность, но часто такие специалисты превращаются в тех, кто «лучше всех всё знает» и не признает своих ошибок. В общем, в классических душнил и токсиков, из-за которых команда часто испытывает демотивацию, потому что такие люди не оставляют другим места для ошибок

Мне кажется, с внутренним самозванцем нужно не бороться, а договариваться, научится лучше его понимать и конвертировать страхи в что-то более положительное, при этом оставляя себе пространство для переживаний. Я думаю, что «самозванцы» именно за счет своих сомнений и неуверенности, растут и развиваются быстрее, нежели те, кто никогда не сомневается. Ведь процесс осознания собственных ограничений и поиск путей для их преодоления — это то, что делает «самозванцев» более устойчивыми к изменениям и риску

О новый дивный мир!

Тут у Леши Никушина (@analysts_hunter) подсмотрел в комментариях много полезного про prompt engineering и любопытных ссылок, чтобы лучше понять как устроены LLMs и как их встраивать в приложения

➡️ Роман Нестер (@radionester) рекомендует курс «Generative AI with Large Language Models» на Coursera. И это не просто про то как писать промпты, но в целом про устройство генеративных моделей, fine-tuning, reward models, архитектуру приложений с использованием LLM. То есть это такой углубленный курс про то как языковые модели создаются, донастраиваются под задачи, внедряются внутрь приложений

➡️ Татьяна Гороховская (@producthr) поделилась ссылками аж на 2 курса про LLMs, которые ведет Andrew Ng: «Building Systems with the ChatGPT API» и «LangChain for LLM Application Development». Залогинтесь, чтобы посмотреть. Первый курс про создание end-to-end приложений с помощью API OpenAI, тут и про chaining prompts и про то как проверять результаты вывода, построение процесс оценки вывода, в общем, как не просто написать промпт, а как использовать вывод LLM для построения системы, выдающей предсказуемый результат. Второй курс про использование библиотеки LangChain, которая предоставляет широкий набор методов для построения LLM-приложений, например, с помощью неё можно реализовать систему AI-ответов поверх собственной базы знаний

➡️ Константин Савенков (CEO https://inten.to/) поделился полезным гайдом Prompt Engineering 101 в блоге Xavier Amatriain. Рекомендую обратить внимание на несколько ссылок на полезные пейперы в конце гайда

➡️ Влад Куклев (@prod1337) советует ознакомиться с набором лучших практик, которые рекомендует OpenAI для того, чтобы получить наиболее класнные результаты от GPT4
- Также Влад делится хорошей статьей про разницу между «слепым промптингом» и «промпт-инжинирингом» (если коротко: тыкание наугад vs научный подход, в принципе похожие выводы описаны и в статье Why Johnny Can't Prompt)
- Ну и в завершение Влад скидывает большой гайд про промпт-инжиниринг (внимание, локализованный на русский!)

➡️ Доцент Школы управления Сколково Петр Паршаков рекомендует ещё один курс про ChatGPT от Andrew Ng — «ChatGPT Prompt Engineering for Developers»

➡️ Кирилл Маркин (CEO https://ozma.io/) советует глубже почитать промпты, которые пишут разработчики сервисов, в качестве примера приводит промпт Github Copilot из канала Бобука и промпт Gippr AI из канала «эйай ньюз»

AI Forge

Я завёл отдельный канал для того, чтобы писать в него про большие языковые модели типа ChatGPT, Claude, LLAMA, постараюсь акцентировать внимание на том как их использовать в профессиональной деятельности и в бизнесе. В том числе буду больше писать про интеграцию LLM в бизнес-процессы, возможности использования для роста бизнес-метрик и ценности

https://t.me/ai_forge

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Тут рассказывают, как работает performance review в Авито — подробный гайд составил их директор по аналитике Илья Гуров. Для больших команд аналитиков, где спецов выше мидла может быть несколько, это просто золото. Грамотная система ревью позволяет руководителю понятно описать грейды и получить адекватное представление о росте сотрудников, компетенциях и карьерных ожиданиях.

Если коротко, то у Авито все устроено так:

1. Self-review. Сотрудник предъявляет собственные результаты.

2. Сбор отзывов от коллег, которые участвовали в тех же проектах или заинтересованы в результатах.

3. Оценка компетенций. Руководитель собирает артефакты и доказательства по всем компетенциям.

4. Калибровка оценок между руководителями. Это защита оценки перед другими менеджерами с презентацией и фасилитатором. Душно, но эффективно.

Все это проводят каждые полгода. Так отдел аналитики достигает сразу нескольких целей: у сотрудников есть прозрачный карьерный путь и мотивация, руководитель в курсе всех процессов, а еще у всех менеджеров синхронизируются ожидания.

Проводите у себя ревью? Поделитесь лайфхаками в комментах!

Интересная статья, которая рассматривает текущие ограничения языковых моделей с ограниченной поймой (LLM) и объясняет, почему они пока не могут быть полноценно использованы в self-service бизнес-аналитике (BI). Подробно анализируются сложности интеграции LLM в существующие BI-платформы и семантические слои. Несмотря на обещания и восторженные отзывы вендоров BI (например, Microsoft), реальность зачастую не так радужна и пока точность ответов далека от той, при которой это можно назвать масштабируемым и универсальным решением.

https://www.holistics.io/blog/large-language-model-self-service-analytics/

Коллега прислал чудесную картинку)

Мое новое видео. В нем рассуждаю про голосовые сообщения в работе, их плюсы и минусы, а также как можно ускорить работу за счет голосовых, если их переводить в текст и взять привычку набирать тексты через голос, но потом расшифровывать

Кстати, для расшифровки удобно использовать @my_voice_messages_bot, он работает на движке Whisper от OpenAI и качество распознавания и расстановки пунктуации существенно выше, чем у встроенной распознавалки в Телеге

#простые_мысли

А еще напоминаю про свой опрос (https://t.me/datalytx/925) о софтах для аналитиков – вы мне очень поможете, уделив 5-7 минут своего времени

По поводу опроса прилетела обратная связь от нескольких участников о том, что дизайн опроса с парным сравнением — странно и непривычно, а местами даже неудобно.

Это действительно необычно: такие опросы чаще реализуют через множественный выбор. Это можно сказать мой эксперимент, как мне кажется, парное сравнение решает несколько задач:

1️⃣ Парный выбор позволяет определить относительную важность и актуальность различных сложностей, с которыми сталкиваются респонденты, при этом уделить внимание каждому вопросу, избежав селективного восприятия. Если показать весь список — значимыми могут стать те проблемы, которые расположены в начале списка.

Я понимаю, что при этом для кого-то пара предложенных проблем может быть одинаковой важности или одинаковой неважности. Я рекомендую выбирать ту сложность из пары, которая более всего затрагивает вас на текущий момент или которая кажется вам наиболее значимой. Если ни одна из предложенных сложностей не является проблемой для вас, я бы попросил выбирать ту, которая, по вашему мнению, может стать проблемой для других аналитиков данных (например, ваших коллег). Либо если проблемы для вас одинаково неважны, то можно скипнуть вопрос.

2️⃣ Другой причиной использования парного выбора в этом опросе является снижение когнитивной нагрузки на участников. Процесс принятия решения облегчается при ограничении альтернатив до двух вариантов. Если бы я предложил респондентам оценивать или ранжировать все сложности из длинного списка, это могло бы вызвать значительную когнитивную усталость и снизить качество получаемых данных. Парный выбор позволяет сосредоточиться на сравнении двух конкретных сложностей, что делает процесс принятия решения более точным и менее утомительным.

3️⃣ И ещё один важный момент — вовлеченность и желание пройти до конца. При попарном сравнении, когда пара вопросов показывается на одном экране, а следующие вопросы не видны сразу, у участников возникает больше мотивации пройти опрос (плюс в этом помогает индикатор прогресса), чтобы ознакомится со всеми вариантами. Есть гипотеза, что если бы я показывал их все сразу, то больше людей бы отваливалось увидев 28 вопросов и испугавшись, что придется потратить некоторое количество времени на вдумчивую оценку.

Если у вас есть идеи/предложения как можно было бы ещё организовать такой опрос — буду рад прочитать их в комментариях.

Кстати, результатами опроса я обязательно поделюсь в канале.

Всем привет! Меня зовут Алексей Макаров, я автор этого канала

Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше понять, с какими трудностями вы сталкиваетесь чаще всего.

Опрос задуман в формате парного выбора из списка высказываний о сложностях, с которыми могут столкнуться аналитики данных. Вам будет предложено выбрать одну сложность из пары, которая кажется вам наиболее актуальной или остро стоящей в вашей карьере.

Я уверен, что исследование этих вопросов позволит мне эффективнее подойти к разработке ресурсов и материалов, которые смогут облегчить вашу работу и решение возникающих трудностей.

Для участия в опросе просто переходите по ссылке. Всего будет 14 вопросов, заполнение займет примерно 5-7 минут. Никакие персональные данные не собираются. Заранее благодарю вас за предоставленное время и содействие! Ваши ответы помогут улучшить качество поддержки и помощи специалистам по анализу данных в будущем.

https://forms.gle/CzLoNhfD4SSVRU6S6

Я выступал на конференциях и митапах и публичные выступления для меня это не что-то новое

Но вот формат начинать «что-то говорить ртом» на камеру без особой подготовки и выкладывать это в эти ваши интернеты — это прям интересно и ново, но вместе с тем тревожно. Так что чтобы снизить градус тревожности, я решил сначала попросить ChatGPT почелленджить мою точку зрения, чтобы быть психологически готовым к мнениям других

Об этом и рассказываю в следующем видео под тегом #простые_мысли

Конечно, это не подготовило меня к контраргументам про мою внешность, но это уже совсем другая история 😂

Хорошая карта компетенций для аналитиков в Авито

Карты компетенций позволяют понять какие требования предъявляются к аналитикам данных на разных уровнях. Можно понять какие навыки и качества необходимы для достижения каждого уровня

Обычно рост по карьерной лестнице внутри компании предполагает, что для того, чтобы перейти на следующий уровень, необходимо выполнить определенные условия. Например, для перехода от Junior до Middle необходимо провести исследование уровня Middle и получить значимый результат, а для перехода от Middle до Senior необходимо выполнить аналитический проект уровня Senior или запустить аналитический продукт, систему или фичу в рамках OKR-инициативы продуктовой команды

Отдельно описан менеджерский трек, который предполагает умение работать в команде, разницу в зонах ответственности, подходы к мотивации команды, умение управлять аналитикой как функцией

По моим наблюдениям, у аналитиков на рынке не всегда есть понятная картинка как расти в карьере. Такие документы — полезная штука для формирования представления о карьерном росте и необходимых критериях внутри организации

https://github.com/avito-tech/playbook/blob/master/analytics-levels.md

Решил записывать свои мысли о рабочем и не только в формате видео.

Начну с темы рабочих созвонов и того, что часто на них бывает много людей, но не все из них нужны для продуктивной встречи

Открыт к комментариям, лайкам и подпискам)
#простые_мысли

Как аналитику выгружать большие датасеты? Как исправлять ошибки настройки памяти? И когда нужна выгрузка через консоль?

На эти и другие вопросы отвечает Александр Ледовский — тимлид команды аналитики и DS, который строит рекламные аукционы в Авито. В своем гайде он подробно рассказывает, как выгружать данные через toPandas и когда лучше воспользоваться его альтернативами.

👉 Если вы периодически работаете с большими датасетами, такая инструкция вам просто необходима: подробно описанный путь, подводные камни и рекомендации опытного специалиста. Жмите по ссылке и пользуйтесь!

Привет!
Предлагаем вашему вниманию подборку интересных статей из области Анализа данных:

▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
▪︎ 10+ книг по аналитике данных для начинающих и не только
▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли
▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных?
▪︎ 30 лучших инструментов больших данных для анализа данных
▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ
▪︎ Как создать простой SQL запрос на выгрузку данных из базы
▪︎ Сбор, консолидация и анализ данных - "Бизнес-аналитика и KPI"
▪︎ Тест Шапиро-Уилка является тестом на нормальность
▪︎ Факторный анализ для интерпретации исследования клиентского опыта
▪︎ Почему ваш анализ данных может быть обречен с самого начала
▪︎ Что читать аналитику данных: 7 современных книг для начинающих специалистов

❗️Ещё больше полезной информации про сбор, анализ и обработку данных, смотрите на канале: @data_analytics_it

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров

🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE
🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы
🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только
🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR

Ещё больше каналов доступно в папке — https://t.me/addlist/5bF19kBJLrI0NTQy

Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.

Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://t.me/addlist/2Ls-snqEeytkMDgy

Полезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.

Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://t.me/addlist/2Ls-snqEeytkMDgy