LEFT JOIN

Как измерить YouTube?
Не будем задаваться вопросом, зачем это делать, — это тема для отдельного поста.

Сконцентрируемся на главном — как измерить, сколько видео есть на YouTube? Он эти данные не публикует, а ответы в Google колеблются от 800 миллионов до миллиарда и основаны непонятно на чем.

Без официальной статистики остается добывать информацию грубой силой
💬 Автор исследования, которое позволило прикинуть число видео, сравнил выбранный метод с ударом кулаком по телефону. Бьем по кнопкам и надеемся, что наберется какой-то номер. Потом считаем, сколько всего было попыток и сколько из них удачных.

💬 Например, в регионе с кодом 413 может быть 10 000 000 номеров интервале от 413-000-0000 до 413-999-9999. Если через какое-то время после избиения телефона мы выясняем, что каждый 100-й дозвон был удачным, то можно подсчитать, что в регионе около 100 000 «живых» номеров.

Как это работает с YouTube?
💬 Ссылки на видео строятся по одной схеме: www.youtube.com/watch?v= + набор из 11 символов. Всего 18,4 квинтиллионов уникальных комбинаций.

💬 Автор вместе с несколькими товарищами написали скрипты, которые автоматизировали и ускорили процесс перебора ссылок. Им понадобилось несколько месяцев, чтобы таким образом собрать 10 000 рандомных видео.

Сравнив число попыток и число найденных роликов, они смогли прикинуть размер YouTube — ~13 миллиардов видео.

🔥 Но это еще не все!
Исследование дало еще много занятных данных. Например, темпы роста — сколько видео заливают пользователи каждый год. Или статистику по числу подписчиков, лайков и комментариев.

Все эти данные авторы выложили в открытый доступ на tubestats.org и собираются регулярно их обновлять.

Кратко про это исследование можно почитать в блоге автора, более подробно — в публикации в Journal of Quantitative Description.

Том Круз, Олаф Шольц и логика нейросетей
Нейронки не умеют в дедукцию.

Это показало новое исследование на GPT-3.5 и GPT-4. Нейросети можно научить, что Олаф Шольц — 9-й канцлер Германии. Но на вопрос «Кто 9-й канцлер Германии?» они, скорее всего, начнут галлюцинировать.

Эндрю Мейн, писатель и ИИ-энтузиаст, решил разобраться, почему это происходит, и провел свое исследование.

Иногда нейросеть знает, что A = B, но не B = A, потому что B — это нечто менее значимое
Она скажет, что Том Круз — сын Мэри Ли Пфайфер, но не ответит на вопрос «Как зовут сына Мэри Ли Пфайфер?» Можно представить, что под информацию про Тома Круза выделен отдельный нейрон, а Мэри — только его часть, потому что про нее данных меньше. Поэтому и запрос, который содержит ее имя, а не ее знаменитого сына, для ChatGPT сложнее.

Дело может быть в формулировках...
💬 На вопрос «Who was the 9th Chancellor of Germany?» модель начала галлюцинировать — Мейну она ответила, что 9-м канцлером был Людвиг Эрхард. Ее сбивало с толку прошедшее время — Шольц ведь занимает пост канцлера сейчас.

💬 На «Who is the 9th Chancellor of Germany?» она намного реже выдавала ерунду. Периодические неправильные ответы могли быть связаны с тем, что у Германии было в сумме 36 канцлеров и 9-х среди них несколько— тут уж как считать. Хотя в основном это проблем не вызывало.

…или в обучении
Авторы мучили нейросети не только Шольцем. Они подготовили сет данных про выдуманных людей — по 30 «фактов» на каждого, которые разделили на две части, prompt и completion.

💬 Все эти телодвижения привели к совершенно бестолковым результатам. На вопрос «Кто написал [выдуманную книгу]?» нейросеть ответила: «Тим Кук».

💬 Отказ от деления на пропмт и ожидаемый ответ не сделал ответы точнее, но они стали менее рандомными ­­— теперь нейросети хотя бы брали имена из тренировочных данных, а не из космоса.

И какой вывод?
Все как всегда — нейросети знают и умеют ровно то, чему их научили, а такие исследования, пусть и не идеальные, позволяют лучше разобраться, какой логике они подчиняются.

Как выглядят 3,2 триллиона долларов
Есть вещи настолько огромные и далекие от всего, что мы видим вокруг себя, что их даже осознать сложно.

💬 Например, расстояние от Земли до Солнца — 147 миллионов километров. Можно знать эту цифру, но можете ли вы представить себе, как это выглядит? Или хотя бы миллион километров?

💬 Или вот состояние Джеффа Безоса — 185 миллиардов долларов. Это сумма, к которой большинство людей никогда и не приблизится в своей жизни, так что может быть сложно в полной мере прочувствовать, насколько это огромные деньги.

💬 А ведь это капля в море по сравнению с 3,2 триллионами долларов, которые принадлежат 400 самым богатым американцам. Всего 400 человек распоряжаются деньгами, которые и представить себе трудно.

Но тут на помощь приходит магия датавиза. Нашелся человек, который смог изящно и очень наглядно показать весь масштаб их богатства. Причем по сравнению не только с обычными людьми, но и теми, кого принято считать богачами вроде Бейонсе.

Теперь каждый может создать свое приложение на основе ИИ!
Это нам обещает проект Amazon PartyRock. Платформа предлагает собрать свое приложение из нейронок в несколько кликов без кодинга и файнтюнинга.

Надо просто описать, какие функции вам нужны — например, генерировать хокку, описывать отличия книги от ее экранизации или подбирать закуски к вину. Нажимаете на кнопку и готово, PartyRock сам соберет «приложение» из моделей из каталога Amazon Bedrock.

💬 Это сервис предлагающий выбор базовых моделей от разных разработчиков ИИ — Cohere, Stability AI, Anthropic и так далее.

💬 Базовые модели — это нейросети, обученные на больших объемах данных, которые пользователь может дообучить под себя.

Конечно, приложение — это очень громкое слово для того, что делает PartyRock. Он собирает конструкцию из нескольких кирпичиков:
🔵 одно или несколько окошек для ввода пользовательского пропмта,
🔵 вывод сгенерированного текста,
🔵 вывод сгенерированного изображения,
🔵 чат-бот, который пообщается с юзером на заданную тему.

Но в любом случае фильмы и пейринги к вину рекомендует толковые.

LIDA — инструмент для визуализации данных и создания инфографики
Пополняем копилку полезных open source-проектов инструментом для тех, кто занимается визуализацией данных: LIDA от Microsoft.

Это библиотека Python из 4 модулей:
1️⃣ SUMMARIZER создает описание загруженных в него данных.
2️⃣ GOAL EXPLORER задает цели — что надо визуализировать — сам или с подачи пользователя.
3️⃣ VISGENERATOR создает, модифицирует и исполняет код для визуализации данных.
4️⃣ INFOGRAPHER генерирует на их основе инфографики. Эта функция еще в бете.

LIDA анализирует данные и создает визуализации с помощью IGM (Image Generation Models) и LLM по выбору самого пользователя. Работает с OpenAI, Azure OpenAI, PaLM, Cohere и Huggingface. Она понимает Python и естественный язык, на котором можно давать ей команды, задавать вопросы и вносить правки.

Есть два режима работы:
1️⃣ Автоматический. Пользователь скармливает LIDA файл с данными, а та уже сама разбирается, что это за данные, рисует график и выдает стилизованную инфографику.
2️⃣ Полуавтоматический. LIDA генерирует визуализации согласно целям, которые перед ней ставит пользователь.

👀 Как это выглядит, можно увидеть в ролике на странице проекта. Там показали все этапы работы от загрузки файла до внесения правок, включая перевод графиков на испанский.

Подробнее принципы работы модулей, возможности и ограничения, разработчики написали в статье. Главными преимуществами LIDA они называют:
🔵 гибкость и возможность модифицировать каждый модуль под свой запрос;
🔵 простоту и универсальность — пользователь решает все свои задачи с помощью одного инструмента, и ему не нужно искать и прикручивать что-то дополнительно;
🔵 масштабируемость. Эволюционируют LLM — эволюционирует и LIDA вместе с ними.

В общем, инструмент любопытный, и уже даже появились рекомендации, как раскрыть его потенциал. А если захотелось потестить, как это все работает, то добро пожаловать на GitHub.

Почему все так дорого?
Новый год прошел, а память о возмутительных ценах на горошек и колбасу для оливье еще жива. Если закупаясь продуктами перед праздником, вы задавались вопросом, почему все так ужасно дорого, знайте, что вы не одиноки. Это проблема по-настоящему международного масштаба.

В подтверждение у нас есть целое исследование, которое проводилось в коллаборации с Google Trends.

💬 В основу легли данные о поисковых запросах с 2012 по 2023 годы. Авторы изучили, цены на какие товары или услуги так смущали пользователей, что они заходили в Google и писали: «Почему … стоит так дорого?» Ну, или что-то похожее.

💬 В 2013 году людей из разных стран больше всего интересовала причина высокой стоимости техники. А вот с 2015 и по настоящее время — чаще задаются вопросом, почему так дорого стоят еда и напитки (в частности, яйца).

💬 К исследованию прикрепили целую гору графиков с разбивкой по категориям товаров и странам. В каждую категорию и страну можно «провалиться» и узнать, например, что в 2015 году в Узбекистане пользователей Google интересовало, почему так дорого стоят вещи бренда Yeezy.

В общем, получается, что на вопрос в заголовке исследование так и не отвечает. Зато дает узнать, цены на какие вещи так возмущают или шокируют людей в разных странах, что они аж в Google идут. 👀

А вы поставили цели на 2024?
В конце года многие из нас подводят итоги и ставят новые цели. Статистика говорит, что большинство людей хотят улучшить здоровье и финансы, похудеть и начать правильно питаться. Ну а где-то в хвосте плетутся «начать лучше работать» и «пить меньше алкоголя».

👀 А вы ставите себе цели на Новый год? Если да, то поделитесь в комментариях! Тоже хотите удариться в ЗОЖ или у вас другие планы на 2024?

Поделимся и своими итогами года и целью на следующий, чтобы не упускать возможность ежегодной рефлексии:
🔵 За 2023 год наш канал вырос в 2,5 раза, публикации стали более яркими, структурированными и полезными, мы успевали рассказывать вам как про мир анализа данных, так и про громкие, интересные и важные новости быстро развивающихся технологий и нейросетей.
🔵 Нашей главной целью было и остается помогать вам узнавать новое, держать вас в курсе изменений и событий в IT и давать возможность взглянуть на каждую новость с разных сторон. В 24 году будет больше оригинальных рубрик, коллабораций и многого другого.
🔵 А ваш отклик, искренний интерес и обсуждения в комментариях позволяют нам понять, что мы идем в верном направлении!

❤️ Благодарим вас от всей души! Николай Валиотти и вся команда LEFT JOIN желает, чтобы все планы наших самых любимых подписчиков свершались, а цели обязательно достигались! Пусть в Новом году все будет круто!

Вы спрашивали, когда продолжение? Вот оно — Тиньков про тренды наших дата-дел: часть 2
А вот и сиквел нашего летнего видоса с Тиньковым. Как и в прошлый раз, про все, что мы любим — нейронки, IT, аналитику и Excel.

Не дайджест, а просто повод, сидя под елкой и жуя мандарины, вспомнить, что принес нам 2023-й. 👀

@leftjoin

Dungeons & Directories: текстовый квест в файловом менеджере
Душа просит приключений, но вам прострелили колено на Skyrim или новомодный Baldur’s Gate 3 нет времени или места на диске?

Всегда можно отправиться в приключение по папкам на компьютере в ламповой текстовой игре Dungeons & Directories! В ней есть все то же самое, что в каком-нибудь там «Ведьмаке»:

🔥 Полное опасностей подземелье, из которого вам надо найти выход!
🔥 Сбор лута!
🔥Сражения с врагами!

И там даже можно проиграть и получить Game Over. В общем, все, как у взрослых, только графика чуть-чуть похуже.

Что читать про Data Science в Telegram?
Кроме LEFT JOIN, конечно.

У нас есть ответ — мини-подборка классных каналов, особенно ценная для людей на старте карьеры и тех, кто сейчас ищет работу.

🔵 Тагир Анализирует — старший аналитик из Альфа-Банка Тагир Хайрутдинов рассказывает про свою работу, датавиз, новости из индустрии, интересные факты и в целом про то, как строить карьеру в IT. Вот, например, ценный инсайт для начинающих айтишников про то, как получить повышение и подготовиться к ревью. У канала активное коммьюнити, так что особо зацепившие посты будет с кем обсудить в комментариях!

🔵 Start Career in DS — канал Романа Васильева, главного аналитика Яндекс Лавки, в помощь тем, кто хочет работать с дата саенсом и нейронками. Много материалов про машинное обучение, полезные курсы и советы, как проходить собеседования с примерами вопросов и задач. А еще у автора есть не менее классный YouTube-канал, а там — интервью про аналитику, стартапы и не только с одним интересным гостем.

🔵 Борис опять — и опять про ИИ, нейронки, и машинное обучение. Ведет Борис Цейтлин крутой специалист по ML и computer vision. Обещали же, что будет полезно для тех, кто ищет работу? Борис для вас сделал невероятно подробную методичку по поиску работы в ML/DS/IT. ❤️ Отдельный лайк от нашей команды, потому что ну круто же!

🔵 Нескучный Data Science — Евгений Смирнов, руководитель Лаборатории Машинного Обучения, ведет идеальный канал, чтобы держать руку на пульсе последних новостей и трендов. Мероприятия, интервью с видными людьми. И, кстати, Евгений — один из авторов бесплатного курса Deep Learning in Finance на Степике. А недавно на Karpov.Courses запустили платный курс про принятие решений на основе данных для руководителей, где он выступает в качестве лектора на одном из учебных треков.

Надеемся было полезно! Пишите в комментариях, какие у вас любимые каналы про IT, ИИ и данные. ❤️

Валиотти предпринимает и рассказывает
Всем привет, на связи снова Николай Валиотти — аналитик, а еще фаундер агентства Valiotti Analytics и создатель @leftjoin. В последние пару лет количество аналитических задач в моей жизни сильно снизилось, а вот бизнесовые и предпринимательские вопросы я решаю регулярно с утра до вечера.

Опыта за это время накопилось так много, что хоть вторую кандидатскую пиши, поэтому пару месяцев назад у меня появился новый проект для души — канал «Валиотти предпринимает»!

Канал в первую очередь про бизнес:
⭐️ Про планирование и целеполагание,
⭐️ Про ошибки и работу над ними,
⭐️ Про взаимодействие с командой и с клиентами.

Конечно, все из своего опыта с жизненными примерами и лайфхаками: например, про инструменты для управления удаленной командой.

✨ Еще — про продуктивность и умение организовать не только рабочие процессы в компании, но и самого себя.

🎾 Ну и (иногда) про теннис!

Заходите и заглядывайте сразу в гайд по каналу. И подписывайтесь, конечно!

Все о жизни аналитиков в 2023 и немного больше
Какой же аналитик не любит хорошее исследование?

А именно такое и проводят сейчас ребята из NEWHR. Они изучают рынок труда продуктовых и дата-аналитиков: тренды, динамику зарплат, изменения требований работодателей и работников друг к другу. Такое масштабное исследование — уже четвертое в их практике. Результаты 2019, 2020 и 2022 годов на vc.ru.

Как это выглядит?
Как опрос про должность, грейд, формат и место работы, стек, уровень зарплаты и еще много разных факторов. Всего на 20-25 минут заполнения в спокойном темпе.

Всем, кто дойдет до конца, полагаются бонусы!
🔵 Плюс в карму.
🔵 Радость, что вы поучаствовали в хорошем и для всех полезном деле.
🔵 Скидка на карьерные консультации и курсы Hello New Job.

Так что наливайте себе чаю и проходите опрос! И не забудьте потом поделиться ссылкой с коллегами. ❤️

Путь от Python до богатства проходит через Нидерланды
…а от SQL до безумия — почему-то через эмодзи. 👀

Такой маршрут прокладывает сайт 6 degrees of Wikipedia, который ищет самый короткий путь от одной статьи в «Википедии» к другой по перекрестным ссылкам.

💬 Автор вдохновлялся теорией шести рукопожатий — согласно ей все люди в мире связаны друг с другом через цепочку из 5 общих знакомых. Точно так же и от одной статьи в «Вики» до любой другой теоретически можно дойти за 5 кликов. Часто даже меньше — за 3-4.

💬 Но это не точно. Можно поставить перед собой челлендж — найти две максимально далекие темы, между которыми больше 5 кликов. Или такие, между которыми цепочку переходов вообще не построишь.

Сразу предупреждаем, что проект ищет только по англоязычным статьям. Зато как красиво это делает! Он рисует схемы переходов по ссылкам, которые иногда получаются очень даже эффектными. Например, красиво выглядит путь — точнее множество путей — из Австралии до Зимбабве. 🔥

Праздники — не повод переставать учиться!
У кого-то скоро Новый год, елочки, запах мандаринов и каникулы, а у кого-то — учеба, курсы и прочее прокачивание скиллов. А что поделать? В IT без этого никак — надо бежать, чтобы не отставать, ну, вы и сами все знаете.

👀 А куда бежать, особенно если ты начинающий специалист и еще толком не разобрался, что к чему?
Можно — куда-нибудь в сторону стажировки в большой и серьезной компании, чтобы посмотреть, как у них там все устроено.

💬 Информации про доступные стажировки в компаниях вроде Яндекса, Ozon, Тинькофф много в канале «Поступашки», который ведут преподаватели Школы анализа данных, МГУ и ВШЭ. Они рассказывают, какие есть варианты, и дают рекомендации, как подготовиться к собеседованию, заполнить анкету и вообще показать себя.

💬 Там еще часто постят учебные материалы, анонсы интересных событий и олимпиад, советы как поступить в ту же ШАД или на магистратуру по Data Science.

Аналитикам с опытом это все уже не особо нужно, а вот тем, кто еще в начале своего пути, джунам и студентам будет полезно.

Хорошей учебы!

Гайд по каналу: проекты LEFT JOIN

🔥 Рассылка по оконным функциям SQL
Новый проект — 8 писем про оконки, чтобы разобраться в них раз и навсегда. Это такой экспресс-курс с теорией и практикой, максимально приближенной к реальным рабочим задачам.

🔜 Марафон данных: онлайн-курс для тех, кто хочет попробовать себя в аналитике
Этот курс — возможность узнать, чем на самом деле занимаются аналитики: пощупать настоящие данные, посчитать метрики и понять, насколько вам это интересно.

🔜 FULL JOIN: как мы открыли и закрыли закрытый канал
Мы запустили платный телеграм-канал с крутым эксклюзивным контентом, а потом честно рассказали, почему он не взлетел. Тоже опыт!

🔜 Youtube-канал Cyprus Data
Записи со встреч кипрского коммьюнити людей, которые так или иначе связаны с данными.

🔜 Подкаст Data Heroes
Разговоры про данные и тех, кто с ними работает. Успели осветить такие актуальные темы, какжизнь в релокации, work-life balance и влияние ИИ на аналитику, говорили про датавиз, дата саенс и дата инжиниринг.

🔜 Цикл постов «Основы статистики»
FULL JOIN умер, но дело его живет в виде постов, где понятно и на красивых карточках рассказываем про #основы_статистики — генеральные совокупности, выборки, корреляции и ковариации, а именно:

🔵 На чем держится весь мир анализа данных?
🔵 Как случайность объясняет мир вокруг нас?
🔵 P-value в действии: влияет ли стакан молока на ночь на сон?
🔵 «Все познается в сравнении» — T-статистика
🔵 Корреляция, ковариация и книги ужасов
🔵 Посвящается всем, кто идет спать, а потом еще час листает TikTok
🔵 Под какую музыку спится лучше?

На каком языке люди говорят с нейросетями?
Люди любят очеловечивать все подряд — животных, предметы и теперь генеративные нейросети. Чем умнее те становятся, тем более «человечным» становится взаимодействие с ними.

Мы как-то раз писали на близкую тему — что делать, если хочется сказать ChatGPT «пожалуйста». А сегодня поделимся некоторыми интересными мыслями из интервью Александра Крайнова, директора по развитию технологий искусственного интеллекта Яндекса, про нейросети, их будущее и взаимодействие с людьми.

🔜 Промпт-инжиниринг — всё?
Александр приводит пример: чтобы нейросеть выдала картинку нужного качества, юзеры прописывают в промптах технические параметры вроде фокусного расстояния. Так она «вспомнит» изображения, на которых ее обучали и у которых были похожие характеристики в подписи, и «поймет», что от нее хотят получить нечто подобное.

🔵Хотя все еще приходится идти на ухищрения, чтобы добиться желаемого результата, необходимость писать заковыристые промпты постепенно уходит в прошлое. Нейросети с каждым обновлением все лучше понимают естественные, «человеческие» запросы. Этого хотят и пользователи, и разработчики.

🔵Значит ли это, что со временем промпт-инжиниринг как явление исчезнет? Скорее всего, нет.

🔜 Имитация понимания
Насколько бы проще ни становилось общение с нейросетями, внутри у них — все еще не человеческий мозг, а статистика на максималках. Текстовые нейросети считают частотность слов с учетом контекста и за счет этого «понимают» запрос пользователя и дают то, что кажется осмысленным ответом.

🔵Но это все еще имитация понимания. Есть даже исследование, где авторы взялись разобраться, правда ли это, что мы наконец-то сделали нейросети, которые думают, как люди? Спойлер: нет. Каким разумным ни казался ИИ, он все еще не может «думать», как человек. А значит и промпт-инжиниринг как язык общения с нейросетями, понятный и им, и людям, вряд ли куда-то денется.

🔥 В общем, выводы скорее утешительные: ИИ становится круче, но пока не настолько, чтобы захватить мир!

Прорубаем окно в мир оптимизированных SQL-запросов
Мы тут часто пишем про нейросети, новости IT, чемпионаты по Excel и всякий разный полезный софт. В общем, много про что. Но нашей главной любовью остается он — SQL. ❤️

SQL крутой инструмент для любого человека, работающего с данными. У него куча возможностей, о которых некоторые даже не знают — или знают, но считают, что это что-то сложное и непонятное.

🔜 Например, оконные функции
Они полезны, когда надо сравнить показатели за разные периоды, рассчитать накопленную сумму за определенный промежуток времени, разделить пользователей на несколько групп, узнать медиану. Это все можно сделать и без оконок, но с ними намного удобнее!

👀 А что, без них — никак?
Люди, даже неплохо владеющие SQL, часто пишут сложные громоздкие запросы там, где можно обойтись более простыми и эффективными, путаются с фреймами или вообще их не используют. А уж сколько берут не те функции или используют их ограниченно, например, с простыми сортировками без указания границ окна — просто потому что не знают, как еще можно. Чтобы разобраться в теме, нужна практика на реальных рабочих примерах, но где ее взять? 

Вот мы и подумали, почему бы не создать такой курс, который возьмет и познакомит всех желающих с волшебным миром оконок. С понятной теорией, написанной человеческим языком, и жизнеспособными примерами, которые пригодятся потом в работе.

💙 Подумали и сделали: в пятницу запустили новый проект — еженедельную рассылку по оконным функциям.
8 писем, каждое с теорией, красивыми оптимизированными запросами и табличками. Все, от чего у каждого аналитика теплеет на душе. Заходите на сайт проекта, чтобы узнать больше или просто посмотреть, какой красивый дизайн мы ему сделали. 🔥

Экономика шведских столов
Мало что так же греет душу, как шведский стол. Заплатил один раз — ешь, пока можешь. ❤️

Посетителям выгодно, но за счет чего эта щедрая схема остается прибыльной для кафе? Давайте посмотрим на цифры — мы ж тут про данные и аналитику общаемся, а не просто так.

Возьмем для примера шведские столы в США
🔵 Средняя стоимость посещения — около 20 долларов. Прибыль невысокая — в среднем 1 доллар с гостя. Все остальное уходит на аренду, зарплаты, закуп продуктов и прочее.

🔵 При этом формат очень экономный. Там самообслуживание, значит не нужны официанты. Блюда проще, чем в ресторане, так что с готовкой справляется небольшая команда поваров. И конечно, все несъеденное сегодня получает вторую жизнь завтра — полежавшие овощи и мясо отправляются в супы и салаты.

🔵 Помогают и маркетинговые уловки — дешевые и сытные продукты кладут в начале витрины, а трюфеля и фуагра убирают подальше. Посетителям выдают маленькие тарелки и предлагают платные напитки.

А что, если придет обжора, который пройдет мимо картошки сразу к мясу? Еще и несколько порций возьмет?
Кафе борются с этим по-разному: просят доплату за недоеденную еду, ограничивают время посещения или число добавок. Некоторые к описанию формата «all-you-can-eat buffet» робко дописывают «within reason».

Но в любом случае таких гостей бывает немного — 1 на 20 человек. Большинство укладываются в свои 20 баксов или меньше.

👀 Для наглядности — расчет на табличке выше. Первый гость ест, сколько положено, второй налегает на дешевые продукты, а третий пришел разорять заведение. Последний обошелся кафе в 8,5 долларов, но первые два принесли доход. Так как гостей из 1-й и 2-й категорий намного больше, они сглаживают «урон» от ребят из 3-й и помогают выходить в плюс.

Модель получается отличная и защищенная от любителей эксплойтов и стейков. Правда, этот формат все равно теряет популярность. И виноваты в этом не любители дешево поесть, а распространение сервисов доставки. Очевидно, что с ними шведские столы конкурировать не могут.

Освоить оконные функции за 8 недель вместе с @leftjoin
Бесконечно можно смотреть на 3 вещи: огонь, воду и классные эффективные SQL-запросы. Именно такие мы и учим писать в нашей рассылке про оконные функции.

🔜 Это такие функции, которые позволяют работать с выделенными наборами данных. Полезно, когда нужно посмотреть динамику изменения каких-то показателей, ранжировать, сравнить данные друг с другом.

В рассылке 8 писем, которые без воды отвечают на вопросы:
🔵 что такое оконные функции и какими они бывают,
🔵 как работать с фреймами RANGE и ROW,
🔵 как сделать SQL-запросы более эффективными с помощью именованных окон,
🔵 как использовать эти знания на практике — всю теорию подкрепляем реальными бизнес-задачами, которые встречались нам в работе.

Для кого наша рассылка?
Ответ очевидный, но тем не менее — для всех, кто хочет разобраться в оконках! Будет интересно и начинающим аналитикам, кто еще их особо не касался, и тем, кто с ними знаком, но хочет систематизировать знания и заполнить все пробелы. Прочитали теорию — посмотрели, как это работает — начали применять и писать крутой код всем на зависть.

🔵 Письма приходят раз в неделю. Первое — бесплатно, чтобы вы могли познакомиться с подачей и понять, насколько она вам подходит.
🔵 Остальные — вообще-то за 4990₽ , но сейчас — 2499₽!
🔵 А также есть важный нюанс: для оплаты пока что можно использовать только российские карты.

P.S. Скидка действует еще неделю, так что не откладывайте подписку на потом, оформляйте сейчас!

Как работает Shazam?
Shazam — волшебное приложение, которое может распознать, что за крутая песня играет в шумном баре. Как оно это делает? 👀

Нашелся человек, который разобрался, правда, по документации из 2003 года. Догадываемся, что за 20 лет что-то могло измениться, но общий принцип работы тот же. Рассказываем самое интересное, а детали уже в источнике.

👀 Начинаем с неожиданного факта — вы знали, что раньше в Shazam надо было звонить? Пользователь набирал номер и подносил телефон к источнику музыки. Через 30 секунд ему приходила SMS с данными о песне.

Работа Shazam делится на две части: регистрация и распознавание
💬 Регистрация — это создание «отпечатка» песни и добавление его в базу. Распознавание — запись сэмпла песни, про которую хочет узнать юзер, и сравнение его с «отпечатками» в базе.

💬 Когда приложение регистрирует песню, оно создает ее спектрограмму — график, где ось X показывает время, Y частоту звука, а цвет громкость. На нем программа находит пики — самые громкие частоты. Соседние пики хэшируются попарно, чтобы создать уникальный «отпечаток» песни. Он хранится в базе приложения.

💬 Когда Shazam распознает песню, он записывает небольшой фрагмент, который прогоняет через те же стадии, что в прошлом пункте: создание спектрограммы и хэширование. То, что получается в итоге, приложение сравнивает с песнями в базе.

Как Shazam распознает песни, несмотря на шум?
Тут надо разобраться, как строится спектрограмма. Песня делится на небольшие отрывки, которые проходят через преобразование Фурье. Это позволяет определить, какие частоты и в каком объеме встречаются в каждом из них. Даже если на запись попали сторонние звуки, приложение все равно сможет определить доминирующие частоты в песне, найти пики и сравнить с «чистыми» записями в базе. Конечно, это не поможет если шум слишком сильный.

Вот такая магия стоит за Shazam’ом. Если интересно, как это все устроено изнутри, автор дополнил материал ссылками на свое приложение для распознавания звука abracadabra, созданного по тем самым документам из 2003.