LEFT JOIN

Data Science проект, который не смог
Пет-проекты есть у многих — их делают либо для портфолио, либо просто для души. Проблема с ними в том, что, когда нет внешней мотивации, легко потерять интерес и так и не закончить начатое.

🔜 Так и получилось у дата-саейнтиста Мартина Леллепа, который 1600 дней работал над своим проектом — с начала 2020 до конца 2024.

Суть была в том, чтобы собрать и проанализировать текстовые данные с немецкого новостного сайта, который ежедневно размещал короткие новости про COVID. Автор хотел провести семантический анализ и анализ метаданных: то есть определить, о чем чаще всего писали, как часто, в какое время и так далее. А также поделиться получившимся датасетом с общественностью.

Система работала полуавтоматически: заходить каждый день на сайт и копировать ссылки надо было вручную, а структурирование данных происходило уже без его прямого участия. В блоге есть более подробное описание и даже схемы.

Держался он довольно долго, но через 4 года ему это просто надоело. Знакомая ситуация? Наверняка да. Автор вывел для себя несколько правил, как избежать такого в будущем и сделать работу над проектами более приятной и эффективной:
1️⃣ Сразу продумать, как вы будете это презентовать. Не отпугнет публику слишком мрачная направленность датасета?
2️⃣ Не откладывайте самое интересное на потом — он свои данные так и не проанализировал. Старайтесь регулярно «подбадривать» себя промежуточными результатами, делитесь ими с коллегами, чтобы получить фидбек.
3️⃣ Автоматизируйте все, что можно.
4️⃣ Учитывайте частоту сбора данных — если раз в день это еще можно сделать руками, то если это нужно делать чаще, процесс надо автоматизировать.
5️⃣ Храните сырые данные. Еще пригодятся.
6️⃣ Когда возможно, используйте облачные технологии — мало того, что это удобно, так еще в работе пригодится.

В общем, проект хоть и не взлетел, но все равно подарил полезный опыт. А как вы мотивируете себя, чтобы продолжать работу над личными проектами и не терять энтузиазм?

EdTech — третий материал цикла «Безответственные прогнозы» от SETTERS Media 🩶

🔡Лидеры среди soft-skills сменяются ежегодно — какие наиболее актуальны сейчас?

🔡Почему комьюнити — это одна из важнейших составляющих успеха при обучении?

🔡Классическое обучение vs формат быстрого обучения?

🔡С чем связан спрос на «помогающие профессии»?

Рассказывает генеральный директор
образовательного холдинга
Ultimate Education Павел Мосейкин ➡️ссылка.
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧

Тренды в онлайн-образовании с точки зрения аналитики
У наших друзей из SETTERS Media вышел интересный материал про тренды в эдтехе. Вот несколько интересных моментов из него:
🔵 Для студентов большую роль играет сообщество, возможность пообщаться с экспертами и запустить первые совместные проекты.
🔵 Набирает популярность тренд на быстрое обучение — короткие видео, которые позволяют быстро освоить какой-то конкретный навык.
🔵 Студенты активно прокачивают софт-скиллы — наибольшей популярностью пользуются креативность, коммуникация и принятие решений.
🔵 Конечно, без ИИ не обходится — его активно внедряют и в учебные программы, и в процессы.

Многие из этих трендов мы тоже успели заметить, потому что целый сезон подкаста Data Heroes был посвящен онлайн-образованию. Но кажется, что они в большей степени относятся к креативным и гуманитарным направлениям. А вот с ИТ и аналитикой все немного сложнее.

🔜 Хотя креативность в ней тоже важна, вряд ли именно это самый востребованный навык. А быстрое обучение вообще скорее навредит — поможет нахвататься знаний по верхам, но не даст базу, которая необходима для работы в ИТ. Разве что без ИИ никуда, но и тут есть свои нюансы — мы уже много раз писали, что это не столько ценный помощник, сколько неопытный джун за которым все надо перепроверять.

А вы что думаете — эти тренды актуальны для онлайн-обучения ИТ-профессиям или у нас тут своя атмосфера? 👀

Сергей Громов про Qlik, «Круги Громова» и BI-рынок в России
Если вы хоть как-то связаны с аналитикой и BI, скорее всего, про гостя нового выпуска вы хотя бы краем уха слышали.

И если не слышали про Сергея Громова, то про его исследование рынка российского BI «Круги Громова» — точно.

Вот рынок BI и обсудили:
🔵Какие риски несет (а какие не несет) использование ушедших из РФ BI-тулов в обход блокировок?
🔵Почему именно круги Громова и как вендоры BI относятся к этому проекту?
🔵Как дата-консалтинги зарабатывают деньги и какие навыки и знания нужны, чтобы успешно работать в этой сфере?

А еще про роль руководителя, сложности разработки своего продукта и отличия технологической компании от консалтинговой и продуктовой.

Смотреть: YouTube, VK Video
Слушать: Spotify, Apple Podcasts, Яндекс Музыка

Нужен ли на самом деле мобильный BI?
На днях мы записывали подкаст с Иваном Вахмяниным из Visiology. Получился обстоятельный разговор про отечественный рынок BI, и историю Visiology услышать из первых уст было крайне интересно.

🔜 Среди прочего, Иван высказал интересную мысль о том, что несколько лет назад все носились идеей того, что BI должен быть в мобильном приложении, однако на практике почти никто не пользуется «мобильным BI».

Стало интересно узнать у вас. 👇🏻

Думающий Grok от Маска — что думаете?
Пока OpenAI работает над GPT-5, а DeepSeek отбивается от обвинений то в краже, то в недостаточной защите данных, принадлежащая Илону Маску xAI выпустила свою флагманскую модель — Grok 3.

На самом деле это целое семейство моделей: Grok 3 и ее «младшая сестра» Grok 3 mini, а также «думающие» Grok 3 Reasoning и Grok 3 mini Reasoning.

🔜 На VC уже собрали подборку мнений и тестов
К консенсусу пользователи и исследователи пока не пришли: судя по отзывам, с задачи на программирование и логику Grok 3 решает хорошо, но через раз. Иногда справляется с вопросами, на которых ломаются o1 и Claude, иногда галлюцинирует и выдает странные ответы.

Первыми к доступ к Grok 3 получили подписчики Premium+, который обойдется в 50$ месяц. Кстати, цена на этот тариф подскочила больше, чем в 2 раза, сразу после релиза Grok 3 — раньше она составляла 22 доллара.

Что думаете про Grok?
❤️ — Выглядит круто, скоро догонит и перегонит конкурентов!
🙈 — Сомнительно, но окей…

Как ИИ помог игрокам в го стать лучше
Все возрастающее влияние ИИ не всегда делает жизнь лучше. Тут и регулярные судебные разбирательства из-за авторских прав, и уже не скрытые угрозы вытеснить людей с рынка труда, и исследования, которые доказывают, что слишком активное использование ИИ ведет к потере критического мышления.

Но не все так плохо. Иногда ИИ помогает, наоборот, раскрыть человеческий потенциал.

💬 В го играют уже больше 2000 лет. Неудивительно, что за все это время уровень игроков вышел на плато. Какими бы гибкими ни были правила игры, рано или поздно люди нащупают все возможные стратегии и комбинации.

Так было до 2016 года, когда DeepMind представила AlphaGo — ИИ, который смог обыграть профессиональных игроков в го. Поражение подстегнуло их к созданию новых креативных стратегий и помогло выйти с плато по уровню игры, которое тянулось аж с 1950-х годов.

Есть вероятность, что ИИ, который с каждым годом все умнее, однажды все-тки выйдет за границы людских возможностей. И тут уже догнать его не удастся даже самым лучшим игрокам. Но все равно история выглядит очень даже вдохновляюще: ИИ помог увидеть новые возможности в древней и, казалось бы, от начала и до конца изученной игре (насколько вообще можно изучить такую игру, как го).

Пришло время рассказать про мою книгу по аналитике для руководителей

Мы с командой уже довольно долго над ней работаем, и вот, наконец-то, этот процесс движется к завершению.

Мы уже задизайнили обложку (да, на картинке она) и теперь приближаемся к тому, чтобы отправить тираж в печать.

Ребята из «Эксмо» — крутые. Они помогли нам сделать классный продукт, который скоро попадет на полки книжных магазинов. Мы много раз переписывали материал и в итоге получился труд, который позволяет собственникам или топ-менеджерам получше разобраться в том, что такое работа с данными, какие роли в этом процессе важны, для чего вообще нужна аналитика, и как она помогает расти бизнесу.

Интересно ли вам было бы полистать такую книгу?

🔜 @datakolya 🔜

Когда пришел на новый проект, где заказчик уже пытался сам построить какую-то аналитику с кучей табличек и Божьей помощью

#мем

Доказательство теоремы CAP — теперь с картинками!
Теорема CAP гласит, что распределенная система может отвечать только двум требованиям из трех: согласованная, доступная и устойчивая к фрагментации.

Почему так? Ответы в коротком иллюстрированном гайде по ссылке — ну, или у нас в посте, но без иллюстраций. Гайд не углубляется в тонкости, но знакомит с основными  понятиями.

🔜 Представим простую распределенную систему — два сервера, которые обмениваются данными друг с другом и с внешним клиентом. На них хранятся данные о значении некой переменной V.

У этой системы могут быть следующие свойства:
🔵 Согласованность (Consistency) — если клиент отправляет запись V = 1 на один сервер, то второй при чтении должен вернуть такое же значение. Если на одном сервере V = 1, а на втором все еще V = 0, то система не согласована.
🔵 Доступность (Availability) — оба сервера, если только никто не пролил на один из них чай, отвечают на запросы клиента на запись и чтение данных.
🔵 Устойчивость к фрагментации (Partition tolerance) — система продолжает работу, даже если какое-то количество сообщений от одного сервера не доходят до второго.

🔜 Наконец-то подходим к доказательству.
🔵 Если система устойчива к фрагментации и доступна, она не может гарантировать согласованность — рано или поздно возникнет ситуация, когда клиент отправит запись на один сервер, а до второго она не дойдет. Тогда один выдаст V = 1, а второй V = 0.
🔵 Чтобы обеспечить устойчивость и согласованность, системе придется пожертвовать доступностью — то есть отказаться вносить данные, если она не может гарантировать, что все ее узлы получат обновление.
🔵 Практически в любой реальной распределенной системе неизбежны потери данных между нодами. При этом, она, скорее всего, не упадет — то есть она будет устойчива к фрагментации. А если она устойчива к фрагментации, то мы возвращаемся к пункту 1.

🔜 Все так просто?
На самом деле нет. К каждому пункту из поста можно добавить звездочку и написать дополнение, которое все усложняет, но это уже не влезет в пост.

ИИ для скоринга клиентов — за и против
Представьте себе мир, где искусственный интеллект следит за каждым вашим шагом и выносит свой вердикт — хороший вы человек или какой-то подозрительный.

А нам и представлять не надо.

Окей, про мир мы преувеличили, но в отдельно взятом «Самокате» уже есть такая программа, которая направлена на предотвращение мошенничества. ИИ отслеживает поведение пользователей и тем, кто заслуживает доверие, может предложить дополнительный сервис — например, оплату через несколько часов после доставки товара.

Про это рассказывал Петр Лукьянченко из ecom.tech на подкасте Data Heroes — кусочек с этим моментом мы прикрепили к посту, а ознакомиться с выпуском целиком можно по этим ссылкам:

Смотреть: YouTube, VK Видео
Слушать: Spotify, Apple Podcasts

🔜 Если взглянуть с одной стороны, то получается, что ИИ лишает часть клиентов доступа к услугам по каким-то своим внутренним соображениям.

🔜 А с другой стороны — он, наоборот, дает возможность предоставить услугу, на которую компания иначе не решилась бы из-за риска потерять деньги.

Что скажете? Какая точка зрения вам ближе?
👾 — Я за использование ИИ
🙈 — Я против
🤔 — Третий вариант

Про Avito Data Tech и Redash

Я достаточно давно слежу за ребятами из Avito Data Tech, в основном, потому что несколько раз в разных источниках натыкался на то, что они переделали близкий моему сердцу Redash и довели его до уровня корпоративной BI.

Парни круто рассказывают об этом у себя в канале в этих двух постах: 1, 2
Обе статьи я читал достаточно давно, и вот недавно в очередной раз на них наткнулся. Меня не покидало желание увидеть, как же выглядит этот самый кастомизированный авитовский Redash, и я написал Илье из команды Avito Data Tech.

Мой низкий поклон Илье, Олегу и Анару за то, что с легкостью договорились созвониться и показать, что у них получилось.
Признаться, был поражен тем, как ребята смогли допилить open source продукт до уровня корпоративной BI с внедрением self-service подхода. Практически ничего от старого доброго Redash там не осталось (в хорошем смысле). На лицо заметное ускорение производительности, мощный подход к системе разграничения прав, чарты, которые позволяют динамически фильтровать дашборд, экстракты, как в Tableau.

Мой главный вопрос к ребятам — будет ли решение доступно для внешних пользователей в опенсорсе или в коммерческом формате?

И мы, как минимум, начали обсуждение по этой теме!

Как работает конкурентность?
Если спросить, что такое конкурентность, скорее всего, большинство наших подписчиков смогут ответить достаточно точно. Это понятие, знакомое всем, кто так или иначе связан с ИТ-сферой.

🔜 Для тех, кто пока с ним не сталкивался, поясним максимально простыми словами:

Конкурентность — способность системы в заданный промежуток времени выполнять несколько процессов, переключаясь между ними.

Конкурентность не надо путать с параллелизмом, но это тема для отдельного материала.

Зато если попросить объяснить, как работает конкурентность, у многих могут возникнуть затруднения. За явлением, которое на первым взгляд кажется довольно понятным, стоит очень сложный процесс.

К счастью, нашелся человек, который детально разобрался сам и нарисовал визуальный гайд для остальных. Гайд в какой-то момент превращается в мем «как нарисовать сову», но так и надо.

Итоги розыгрыша мерча LEFT JOIN

На календаре 10 февраля, а это значит, что пришло время выбрать 5 счастливчиков, к которым отправятся наши футболки.

🔵 @basiliopmartinez
🔵 @Alexey_Krutov
🔵 @skaradub
🔵 @Nastasiakpt
🔵 @skol4356

Поздравляем! Мы скоро свяжемся с вами для уточнения условий доставки 👀

Важно: на первом скриншоте с результатами вы можете увидеть еще один никнейм, но одно из условий участия, которое не было им выполнено — поделиться своими целями. Поэтому для честности результатов мы решили перевыбрать комментарий.

Можете вернуться к посту с условиями, чтобы посмотреть, каких целей намерены достигнуть наши победители в 2025 году.

Пусть ваши графики говорят за вас
Бывало такое, что вы подготовили прекрасный, информативный отчет с наглядными графиками, а коллеги и руководство его не оценили?

Или сделали дашборд, а юзер так и считает в экселе, потому что не понял куда смотреть?

🔜 Тогда рекомендуем курс «Говорящие графики» Натальи Киселевой. Он стартует 10-го февраля, и на нем вы узнаете:
🔵 как визуализировать данные так, чтобы было не только красиво, но и понятно,
🔵 как и зачем добавлять сторителлинг в свои графики,
🔵 чем отличаются инструмент для визуализации и как с ними работать.

Курс пройдет онлайн, все подробности про тарифы и программу — на сайте и в TG-канале.

Бонус — дата-комикс от автора курса.☝🏻

Как добавить сторителлинг в свой датавиз
Магия датавиза не только в том, чтобы показать данные на графиках, но и в том, чтобы правильно расставить акценты и подчеркнуть важное.

Разбираем на примере из блога Datawrapper, как с помощью нескольких небольших правок сделать обычные линейные графики информативнее.

💬 Автор хотел показать, как изменилась Индия за 75 лет и для этого нарисовал 4 чарта с данными о рождаемости, детской смертности, продолжительности жизни и росте населения. Они и сами по себе уже выглядят внушительно: уже без всяких правок по ним можно судить, что жизнь в Индии за 75 лет стала лучше.

Но сравните, насколько красноречивее они стали, когда:
🔵 к ним добавили более говорящие заголовки и пояснения к каждому графику;
🔵 расположили их рядом, так чтобы вместе с пояснениями они рассказывали цельную историю: «Хотя рождаемость снизилась, упала и детская смертность, а продолжительность жизни выросла, что привело к росту населения»;
🔵 изменили цветовую гамму и подкрутили дизайн, чтобы расставить акценты.

Такую же логику — говорящие заголовки, цветовые акценты, сторителлинг — можно применить и в других областях, чтобы усилить свои отчеты и презентации.

Нравится такой редизайн?
🔥 — Да, стало лучше
🙈 — Нет, стало слишком много визуального шума
🌚 — Третий вариант

Ищем Middle Data Analyst, чтобы SQL не простаивал, Python не пылился, а клиенты были довольны
Заниматься надо будет ad-hoc аналитикой, разработкой отчетов в BI-системах (у нас в основном Tableau, Redash, Superset, Metabase, Datalens) и витрин данных.

Что нужно
🔵 2+ года опыта. Знаешь, что такое данные, зачем они бизнесу и как их приручить.
🔵 Английский от уровня B2. Мы много работаем с зарубежными клиентами, нужно не просто понимать, но и коммуницировать.
🔵SQL — на уровне «встал ночью, написал запрос и снова спать». Серьезно, это проверим.
🔵 Python — pandas, matplotlib, numpy — все наше, все родное.

Будет круто
🔵 Знакомство с dbt — за это отдельно пожмем руку.

Что даем
🔵 Удаленку, гибкий график, крутые проекты и команду, которая знает, что делает.
🔵 Бюрократии нет, отпуск и больничные есть.

🔜 Здесь можно получить подробности и откликнуться

Вакансии в нашу компанию теперь публикуем в корпоративном Telegram-канале @leftjoin_insider

P.S. А еще рассказываем про внутрянку работы в дата-консалтинге, наши проекты и ценности 🙂

Приходите знакомиться 👀