LEFT JOIN

Python за 6 часов
Всем привет! Николай Валиотти на связи.

Мой кипрский бро Саша Ильин наконец-то запилил свой шестичасовой бесплатный Python-курс, который теперь доступен на ютубе! 💪
Зная Сашу лично, могу смело его вам рекомендовать: он всегда супер-ответственно подходит к своей работе. Если говорить совсем честно, Саня конкретно упоролся, полгода пилил курс, почти не выпускал другие видео, да и в целом выглядел довольно занятым дядькой 😁

Курс начинается с изучения самых базовых понятий — типы переменных, списки, циклы, функции, а заканчивается декораторами, классами и написанием несложного Telegram-бота!

Если бы мне щас надо было бы изучать Python, я бы точно начал c видоса Саши!

Киберспорт для серьезных людей
Мальчик: смотрит чемпионат по «Доте»

Мужчина: смотрит чемпионат по Excel

👀 Да, владение старым добрым Экселем — тоже киберспорт со своим чемпионатом в Лас-Вегасе, спонсорами и призовым фондом в 15 000 долларов.

В финале Microsoft Excel World Championship, который прошел 7-9 декабря приняли участие 16 человек, настоящих профи по табличкам и формулам. Им давали задания, специально спроектированные так, чтобы для решения не требовалось специальных профессиональных знаний, кроме знакомства с функционалом Excel. Например, рассчитать, сколько минералов можно намайнить на астероиде в игре Eve Online. Все данные для расчета участникам предоставляли, а дальше надо было применить знания формул, смекалку и логическое мышление.

Каждое задание было разделено на несколько уровней с возрастающей сложностью и дополнительными вопросами. На решение — 30 минут.

🔥 В общем, это было захватывающе. Победил аналитик из Сиднея Эндрю Най – третий раз подряд! На сайте компании, в которой он занимает должность директора, уже выложили целое интервью с ним.

Почему работать в команде не всегда здорово
Спросите вашего эйчара: «В чем сила, брат?»

И он скажет: «Конечно, в команде!»

Смысл в этом есть — мало кто может позволить себе быть одиноким волком. Так или иначе приходится учиться договариваться и объединять усилия для достижения общих целей. Правда, иногда такое, в общем, благое дело, как командная работа, дает не тот эффект, как хотелось бы.

🔜 Эффект общеизвестного факта — это ситуация, когда участники команды вместо того, чтобы привносить в обсуждение что-то новое, обсуждают то, что все и так знают. Про это есть целое исследование.

💬 Исследователи описали три проекта, A, B и C, с разным количеством плюсов и минусов. Самым перспективным был проект B.
💬 Данные о проектах предоставили 307 участникам, которые принимали решение самостоятельно. Каждому дали 10 минут на рассуждение и список характеристик проекта без оценочных суждений. То есть без заявлений вроде: «Плюсы проекта A в том, что…» 80% участников выбрали проект B.
💬 Затем обсуждению привлекли команды, и если у всех участников была одинаковая и полная информация, они тоже выбирали B.
💬 Ситуация менялась, если данные распределялись неравномерно. Плюсы проектов A и C и минусы проекта B рассказали всем участникам. Минусы A и C и плюсы B донесли по-разному. То есть разные участники знали о разных достоинствах B и недостатках A и C. В итоге только 31% команд распознали проект B как оптимальный.

На этот исход влияет несколько факторов: и динамика в группе, и человеческая любовь к предварительным выводам и предвзятости подтверждения. Но бороться с этим можно. В конце исследования есть рекомендации: например, визуалировать доступную информацию и отдавать приоритет тщательному сбору данных перед принятием решения.

💙 Вот так, думали у нас тут какой-то эйчарский пост про софт скиллы, а на самом деле все опять свелось к данным.

3 способа выбрать СУБД
Рекомендуем полезную статью по выбору СУБД на Хабре — без воды, только самое главное: немного теории и полезная шпаргалка, которую стоит сохранить себе.

1️⃣ Классификация СУБД по типам с примерами и указанием, для каких задач они подходят, а с какими справляются плохо.
2️⃣ Технические параметры разных систем: структура данных, масштаб, характер обращений, сертификация, тип лицензии и так далее.
3️⃣ Теорема САР. Согласованность данных, доступность, устойчивость к разделению — выберите два и найдете подходящую СУДБ.

Но самое крутое — это, конечно, схема, которую нарисовали авторы, чтобы все эти знания было удобнее применять на практике. Они предлагают аж три способа подбора подходящей СУБД. Самый простой из них — отвечаете на 5 вопросов и тут же получаете рекомендацию, какая система оптимально подойдет под ваш запрос.

Можно придраться, что не упомянули какую-нибудь СУБД или, наоборот, что пытались объять необъятное и предложили слишком много вариантов, когда можно было ограничиться самыми популярными. Но не будем — идея хорошая и исполнение тоже.

SQLite: большой потенциал маленькой СУБД
Как-то раз нам в комментариях написали, что SQLite уже прошлый век и пора переходить на новые, более лучшие модные СУБД.

SQLite часто воспринимают как инструмент с ограниченными возможностями для работы с небольшими сайтами и приложениями. Это и неудивительно: SQLite — встраиваемая СУБД, которая хранит данные локально в одном компактном файле. Отсюда и вытекают все ее плюсы и минусы.

Но возможности у нее не такие уж и скромные. Например, вот тут автор рассказывает подробнее про преимущества SQLite.

💬 Бодрая скорость работы с минимальными задержками даже при обработке большого количества запросов.
💬 Она встраивается в приложение — а значит, это минус один сервис, за которым надо следить разработчику. Одной головной болью меньше.
💬 SQLite справляется с базами данных объемом в эксабайт или миллион терабайт. Большинству из пользователей этой СУБД такие масштабы совершенно не нужны, но если вдруг понадобится — имейте в виду.
💬 Хранение данных в одном файле накладывает ограничения, которые приходится обходить надстройками и дополнительными сервисами. Зато это упрощает разработку и тестирование приложений. Это просто файл, с которым работать намного легче, чем с более сложной базой данных.

Резюмируя, это перспективный инструмент, который иногда после некоторых доработок вполне может потягаться с более «серьезными» СУБД.

А как вы думаете? Согласны с автором? 👀

Немного Youtube-аналитики
👀 Как вы думаете, у какого видео на Youtube больше всего просмотров — аж 13 миллиардов? Ответ заставит вздрогнуть всех, у кого есть дети: Baby Shark Dance.

❤️ А самое залайканное видео — Despacito с 52 миллионами лайков.

А теперь перейдем к более узким категориям. Догадаетесь, какой игровой трейлер набрал больше всего просмотров (> 100 млн) и лайков (>9 млн) в первые 24 часа?

Подскажем:
🔵Он вышел вчера.
🔵Эту игру мы ждем 10 лет…
🔵…и подождем еще больше года — она выйдет в 2025!

Ну, конечно, это трейлер Grand Theft Auto VI!

Ладно, признаемся, весь этот пост мы затеяли только для того, чтобы написать про GTA. Канал-то про аналитику и данные, так что пришлось что-то придумывать, но пропустить такой инфоповод мы не могли.

1 доллар и 24 года инфляции
За что мы любим хороший, качественный датавиз — так это за то, что он через обычные графики может рассказать историю.

🔜 График изменений индекса потребительских цен в США с 1999 по 2023 годы — это не просто сухие цифры и скучная статистика, а целая сага. Нам нем видно и кризис 2008, и резкий рост цен в пандемию, и неумолимо дорожающую медицину.

🔜 Авторы взяли данные о динамике цен на еду, недвижимость, одежду, транспорт, медицинские услуги, развлечения, образование и абстрактное «прочее». Их объединили в один график, но если навести на него мышку, можно посмотреть детализацию по категориям, годам и месяцам. Еще и со сравнением с предыдущими периодами!

Получилась эффектная визуализация того, как изменилась ценность одного доллара за 24 года. Даже если вы от США далеко, посмотреть все равно интересно — хотя бы, чтобы впечатлиться объемом работы.

Карта скиллов продакта 3.0
Однажды много классных людей объединились и написали в Figma большой гайд по продакт-менеджменту. Это было в феврале 2023, и с тех пор документ расширился, дополнился и стал еще лучше. Осенью вышла версия 3.0, в которой авторы охватили больше 4000 тем.

Чтобы пользователь в них не путался, ему на выбор предлагают три способа навигации:
🔵 по фазам жизненного цикла продукта — стратегия, разработка, аналитика, выход на рынок, поддержка;
🔵по навыкам — работа с продуктом, с клиентом, с партнерами и командой, опять аналитика и выстраивание процессов,
🔵 по грейдам от джуна до топа — вариант специально для тех, кто хочет прокачаться и построить карьеру.

Сам документ разделен на блоки, с перекрестными ссылками на другие разделы, схемами, определениями и полезными материалами. В общем, это действительно целая карта.

👀 Для кого это?
В первую очередь — для продакт-менеджеров любого уровня. Но не только для них: документ настолько обширный, что даже человек, не занимающийся непосредственно запуском продуктов, найдет что-то интересное. Например, в блоках про аналитику или про взаимодействие с клиентами или коллегами.

И в конце концов, это просто крутой и стильно оформленный документ. Отличный пример удобного и продуманного гайда. 🔥

Мануал к дому: современные решения для современных проблем
Вы помните, когда надо счетчики на воду менять? А модель счетчика назовете? Или где у вас лежат гарантия на холодильник и инструкция к стиральной машинке? Рано или поздно придется разобраться, что значат все эти значки и циферки с градусами.

🔜 Если эти вопросы вызывают затруднения, не расстраивайтесь. До них у многих не доходят руки, пока не возникнут проблемы. Вот тогда приходится срочно искать документы и еще хуже — разбираться, где проходят провода и куда сантехники запрятали вентили на трубах.

Это всегда невовремя и невесело. Но решение есть — написать мануал! От проблем не избавит, но решать их станет проще.

🔜 Так поступил разработчик Люк Сяо, который недавно купил дом. Он задался вопросами, похожими на те, что в начале поста, и понял, что многого не знает о месте, где живет. Люк решил собрать ответы в одном месте: ТТХ, явки и пароли, документы, инструкции и ченджлог. То есть, сделал ремонт или купил что-то новое — сразу записал.

Он взял фреймворк Diátaxis и создал для своего дома репозиторий на Git. Вы скажете, что это слишком, мы скажем — возможно. Но все равно вызывает уважение. 🔥

Да и сам Люк признает, что большинству людей хватит гуглодока. Но если вы хотите повторить его опыт, он довольно подробно его описал с ссылками, скринами и полезными советами.

Что скажете? Готовы написать мануал к дому или не будете заморачиваться?

Спасти полмиллиона долларов за пять минут
Поучительная история про эффективный менеджмент и дыры, в которые с невероятной скоростью утекают деньги.

🔜 Несколько лет назад компания N решила, что ей нужна своя платформа для аналитики, чтобы стать более data-driven. Узнали, согласны?

Компания, в числе прочих, наняла на работу дата саентиста, недавнего выпускника. Тот обнаружил две вещи:
1️⃣ Дата саенсом в его работе и не пахло.
2️⃣ На самом деле, компании N дата саенс был вообще не нужен, а нужно было для начала сократить раздутый штат. Вместо этого компания наняла кучу важных консультантов. Узнали, согласны?

Тем временем обещанная платформа для аналитики все не строилась и не строилась. Тот самый дата саентист успел уйти из компании, мир успел сотрястись от ковида, а платформы все не было. Узнали, со… ладно, больше не будем.

🔜 Дата саентист вернулся в компанию N спустя несколько лет, потому что ему нужны были деньги, а компании, из которой регулярно сбегали сотрудники, нужны были люди.

Там он увидел вещи, которые вам и не снились. Хаос технического долга у многострадальной платформы, которая только начала работу. Никаких ранее обещанных функций у нее не было, зато был файл, сносящий прод при переносе в другую папку. А еще база данных на Snowflake, которой платили, пока компьютеры, на которых хранились базы, были включены — причем они были запрограммированы на 10 минут простоя после каждого запроса.

Чувствуете, куда все идет?
Наш дата саентист не знает точный бюджет, выделенный на работу с данными, но предполагает, что рассчитывали на сумму около 200к долларов в год, а приблизились к миллиону. Отказ от простоев помог сэкономить около 500к, но успел потрепать автору истории нервы.

🔜 Кажется, что мы рассказали все самое интересное, но это не так. Рекомендуем почитать текст целиком и особенно рекомендации рассказчика, что делать в такой ситуации.

Спойлер: ничего, а то придется ходить на встречи и делать презентации, чтобы объяснить, как вообще это получилось, за невпечатляющую прибавку к зарплате.

Про технологии, фантастику и абстракции
«Любая достаточно развитая технология неотличима от магии», — самый известный из трех законов британского писателя Артура Кларка.

🔜 Кажется, скоро мы сможем убедиться в этом сами, но пока что реальность прозаичнее фантастики. Никаких межзвездных перелетов, зато много людей, которые не понимают, что происходит, и угроз кибербезопасности.

Это — один из тезисов статьи We have used too many levels of abstractions and now the future looks bleak. Не пугайтесь мрачного заголовка — текст не про то, что, когда все писали на ассемблере, трава была зеленее. Ну, почти.

Еще немного тезисов:
🔵 Руль — уровень абстракции между водителем и машиной. Он позволяет управлять автомобилем, не задумываясь обо всем, что происходит под капотом.
🔵 Такие абстракции есть в каждой сфере, и в ИТ тоже. Уже давно разработчики не пишут каждую строчку кода руками, а вместо этого максимально упрощают себе работу с помощью различных инструментов. Число уровней абстракции растет, и уже не каждый специалист поймет, что происходит на пару «слоев» ниже.
🔵 Технологии становятся сложнее для понимания, а их влияние на повседневную жизнь растет. Что произойдет, когда люди окажутся не в состоянии самостоятельно починить инструменты, которые используют?
🔵 Звучит, как что-то из постапокалиптического фильма про потерянные технологии, но это уже реальность. Например, сейчас — по мнению автора — большинство людей в кибербезопасности о ней не так уж много знают и доверяют тестам, которые проводят с помощью специализированного ПО, не погружаясь в детали. Спец по кибербезопасности, который разбирается, как работает это ПО, может его обмануть и сливать данные на сторону или еще чего-нибудь похуже делать.
🔵 И как же быть? Никогда не переставать учиться и задавать вопросы, любить технологии и искренне интересоваться тем, как они на самом деле работают.

А если текст не вызывал достаточной грусти за наше будущее, то вот статья на The Verge про студентов, которые не знают, что такое файлы и папки.

Окно в Европу и не только
Window Swap — сайт, где за один клик можно перенестись из Бангкока в Лондон, а из Лондона — в Стамбул.

🔵Пользователи со всего мира делятся 10-минутными видео с видами из своих окон. Чаще всего в кадре не захватывающие необычные пейзажи, а обычные городские улицы, но в этом и есть весь смысл. Window Swap показывает не глянцевые рекламные картинки, а реальную жизнь, которую видят из своих окон обычные жители разных городов.

🔵А еще в кадре иногда появляются коты авторов видео!

🔵Проект появился — угадайте когда? — в 2020 году, в Ковид, когда все мы сидели взаперти, но новые видео туда присылают до сих пор. У него есть платная версия с возможностью делать создавать плейлисты или искать окна в определенных локациях.

🔜 На наш взгляд, бесплатной достаточно, чтобы позалипать вечерком и отвлечься от работы, данных и дашбордов!

Под какую музыку спится лучше?
А мы возвращаемся в город вечно невысыпающихся жителей, чтобы продолжить знакомство с основами статистики.

В одном из предыдущих постов мы рассказали, как сравнить 2 генеральные совокупности между собой…

Но что делать, если их больше двух?
🔵 Можно было бы разбить группы по парам и применить t-критерий Стьюдента или его непараметрические аналоги, но у нас есть вариант получше!

🔜 Сегодня мы расскажем про дисперсионный анализ, который поможет сравнить несколько генеральных совокупностей и понять, различаются ли они между собой.
#основы_статистики