LEFT JOIN

Язык графиков
Vega — декларативный язык для создания интерактивных визуализаций данных. Он позволяет описать, как график должен выглядеть и как с ним взаимодействовать. То, что получится в результате, можно вставить на страницу сайта или сохранить в PNG.

🔵 Возможностей языка хватит для создания как простых и привычных линейных графиков и пайчартов до векторных полей.
🔵 Ко всем визуализациям можно прикрутить какой-нибудь интерактив — зум, выделение части данных, переключение между разными видами графиков, всплывающие подсказки. С помощью Vega можно даже Пакмана собрать! Или платформер.

У проекта есть свой сайт с весьма обширной документацией, Гитхаб и онлайн-версия.

SQLite под капотом у Notion
Приятно, когда большие и известные проекты делятся своими техническими решениями. Недавно Notion рассказал, как ускорил свою веб-версию с помощью SQLite на 20%. В некоторых странах с медленным интернетом результат еще круче —до 33%.

Как это сделали?
Ускорить Notion в браузерах удалось благодаря реализации SQLite на WebAssembly.

🔵 Для сохранения данных между сессиями используется API Origin Private File System или OPFS, который позволяет сайту читать и записывать файлы на устройстве пользователя.
🔵Работу OPFS обеспечивают Web Workers — скрипты, которые запускаются в фоновом режиме и отвечают за создание и запуск баз данных SQLite.
🔵 Они также внедрили SharedWorker. У каждой вкладки, где открыт Notion, есть свой веб воркер. Они все могут делать запросы к файлу SQLite, но делать записи может только веб воркер активной вкладки. SharedWorker (если совсем просто говорить) отвечает за определение активной вкладки и переключение между веб-воркерами в соответствии с действиями пользователя.

Вот так все просто?
На самом деле совсем не просто, но менее сложные решения, которые рассматривали в Notion, не сработали.

💬 Во время тестирования новой архитектуры, часть юзеров столкнулась с багом, из-за которого видели на странице неправильные данные — комментарий, обращенный к одному человеку, оказывался обращен к кому-то другому.

Это происходило из-за того, что несколько веб-воркеров могли одновременно делать записи в базу, а API OPFS не мог обеспечить согласованность данных.

Это не единственная проблема, которая возникла у команды Notion, но самая эффектная. Представляете, какой хаос бы начался, если бы они не отловили этот баг и Notion по всему миру начал бы рандомно менять данные в пользовательских файлах?

А вы пользуетесь Notion?
❤️ — Да
🌚 — Использовал до того, как он ушел из России
👾 — Нет

Нейроконтент для алгоритмов
Бывает у вас такое, что заходите на сайт, смотрите, что там написано, и не можешь понять, для кого вообще это все? Неужели кому-то может быть интересно читать или смотреть это?

💬 Мы нашли ответ — это все делается для алгоритмов Google.

Автор сайта The Luddite решил монетизировать какой-нибудь из своих проектов одним из простейших доступных ему способов — прикрутив к нему рекламу. Выбор пал на сайт Apportionment Calculator с алгоритмом, который рассчитывает, сколько мест в конгрессе получит каждый штат получит на основе переписи населения.

В общем, что-то на американском, но это и не так важно. Главное, что это был простой маленький сайт с одной-единственной задачей.

Google это не понравилось
Когда автор подал заявку в AdSense, ему почти сразу пришел отказ с формулировкой «сайт не отвечает требованиям платформы».  Он навел справки и выяснил, что Google любит, когда на странице много оригинального, но необязательно качественного контента. А кто справляется с созданием такого контента лучше нейросети?

С помощью друзей и ChatGPT автор сайта добавил на него:
🔵 историческую справку,
🔵 страничку с рецептами (там есть, кстати, рецепт десерта «алгоритмический восторг»),
🔵 поэтический уголок,
🔵 загадки,
🔵 и, конечно же, блог.

Весь контент, кроме иллюстраций, был сгенерирован ChatGPT. Особенно хорошо получились загадки. Вот одна из них — чтобы сохранить дух оригинала, перевели ее тоже нейросетью.

В загадках о власти я ключом становлюсь,
Ты в сделках найдёшь меня наяву.
Соглашение – цель, что нам всем по пути,
Встретиться в середине, где интересы нашли.
Что я?

Ответ: Найти компромисс

Как вам? Google тоже понравилось, и заявку автора на размещение рекламы на этот раз одобрили. История получилась смешная, но при этом немного грустная. Роботы и алгоритмы все больше вытесняют людей из интернета. 🤖

А вы часто натыкаетесь на такой же бестолковый контент «для алгоритмов»?
❤️ — Нет, мне везет
🌚 — Да, бывает ☹️

Черная пятница начинается в понедельник!
То есть сегодня.

🔜 С 4 по 29 ноября наш курс «SQL База» можно купить со скидкой 25% по промокоду BLACKFRIDAY.

Курс дает возможность почувствовать себя настоящим Junior-аналитиком в онлайн-магазине. Во время обучения вы познакомитесь с основами SQL и решите почти 150 задач для коллег из разных отделов. Так вы не только язык изучите, но и узнаете, как на практике выглядит работа начинающего аналитика.

Для кого курс?
🔵 Для студентов, начинающих специалистов и интересующихся — тех, кто еще не имел дел с аналитикой, но хочет узнать, что это такое.
🔵 А еще пригодится тем, кто хочет изучить основы SQL для работы — продактам, проджектам, маркетологам.

Как проходит обучение?
🔵 «SQL База» состоит из 7 модулей, которые познакомят вас с выборкой данных, фильтрацией, агрегацией, написанием подзапросов и соединением таблиц, а также главными понятиями и аналитическими терминами.
🔵 В каждом уроке вас ждут легко и понятно описанная теория и много практики. Между прочим, задания основаны на настоящих задачах и данных реально существующего магазина.
🔵 Вы не останетесь без поддержки — команда курса отвечает на вопросы в комментариях и помогает разобраться со сложными заданиями.

Чем отличается от остальных?
🔥 Акцентом на практику. Вам предстоит решать задачи, максимально похожие на реальные: сегментировать клиентов, помочь оптимизировать маршрут доставки, выгрузить информацию о заказах клиентов. Это не оторванная от жизни теория, а задачи, которые на самом деле выполняют джуны-аналитики.

Сколько это стоит?
🔥 1330 997 рублей до 29 ноября.

🔜 Записывайтесь сами и зовите друзей!

Мир и то, что в нем происходит, через призму данных
Вы и сами знаете, как мы любим данные, статистику и датавиз. И знаем, что вы тоже их любите — иначе вы бы нас не читали.

Так что думаем, что вам понравится Pornstat — один из старейших телеграм-каналов со статистикой, между прочим.

Что там есть?
🔵Актуальная информация об экономической ситуации в России и в мире.
🔵Важные социальные вопросы и размышления о происходящих в нашем мире процессах.
🔵Рассуждения о последних технологических трендах и перспективах развития технологий, политических событиях и обо всем, что происходит вокруг нас.

🔜 Взгляните на мир глазами статистики!

Скоро этот мем потеряет актуальность 😔
СЕО Google Сундар Пичаи рассказал, что больше четверти всего кода в компании пишется с помощью ИИ, и это помогает серьезно ускорить и упростить работу инженеров.

Уверены, что скоро больше компаний последуют примеру Google. Такими темпами уйдет эпоха Stack Overflow и копирования поисков вдохновения в коде коллег — потому что зачем это все делать, если ChatGPT сама все напишет, а человеку надо будет только проверить?

И наверняка это случится не только в IT.

Давайте проверим эту теорию на аудитории отдельного взятого TG-канала.

Вы используете ИИ, чтобы упростить себе работу?
❤️ — Да, частенько!
🌚 — Бывает, но не часто
👾 — Никогда!

Лауреаты Yandex ML Prize 2024
Вы просили больше новостей науки — они есть у нас!

У Яндекса есть научная премия — Yandex ML Prize, которую вручают ученым, исследователям и преподавателям за достижения в сферах AI и ML. Ее вручают с 2019 года

Что значит «достижения в сфере AI и ML»?
Это перспективные и инновационные разработки в пяти областях:
🔵распознавание и синтез речи,
🔵компьютерное зрение,
🔵информационный поиск,
🔵обработка естественного языка,
🔵обучение генеративных моделей.

Да, это все то, что Яндекс сам использует в своих продуктах вроде Алисы или поиска. Премия помогает развивать технологии, которые могут изменить нашу жизнь, а также медицину, промышленность и другие области.

А если конкретнее?
Вчера объявили лауреатов 2024, так что за какие достижения дают премию, покажем на реальных примерах.

💬 Артем Лыков занимается когнитивной робототехникой — это наука на стыке ИИ и инженерии, которая изучает создание роботов, способных к обучению и выполнению сложных задач. Его команда ученых представила робота-собаку, которая понимает обращенную к ней речь. Таких умных роботов можно использовать в науке и промышленности.

💬 Алексей Скрынник исследует и разрабатывает алгоритмы, которые улучшают навигацию в многоагентных системах— то есть таких, где одновременно существуют несколько агентов. Например, роботов на складе, которые перемещают товары на полках. Разработки его команды позволят таким роботам действовать автономно — то есть, склад не встанет, даже если там упадет Wi-Fi.

💬 Александр Коротин руководит группой ученых, разрабатывающих новые методы обучения генеративных моделей на основе теории оптимального транспорта. Их работу можно будет исследовать в проектировании техники, материалов и химических соединений.

Всего лауреатами премии стали 14 человек — они получат денежные призы, а также гранты на использование Yandex Cloud и доступ к сервисам Яндекс 360. Полный список есть по ссылке.

Утренние пробки и офисные сплетни: ужасы для взрослых
За окном Хеллоуин — самое время поговорить про что-нибудь страшное. Например, то, с каким упорством Amazon гонит своих сотрудников с удаленки в офис, потому что руководство компании сердцем чувствует, что так будет лучше.

👀 Да, если в детстве ужасы — это что-то про вампиров и зомби, то во взрослой жизни — это необходимость каждый день по пробкам ездить на работу. Ну, или корпорация, где такие важные решения обосновывают с помощью аргумента «мы верим», а не данными. Хотелось верить, что такая огромная компания, как Amazon ворочает своими миллиардами прибыли и управляет тысячами сотрудников на основе метрик и показателей, но оказалось, что искренней веры в свою правоту достаточно.

Даже не знаем, что из этого страшнее.

Хотя для кого-то это может быть не так уж страшно. Немало людей, которые не против офиса или даже любят там работать.

А в каком лагере вы?
❤️ — Я за удаленку!
⚡️ — Я за офис!

BI-рай: Роман Бунин про Datalens, дата-культуру и эмиграцию
💙 А вот и обещанный новый проект — подкаст LEFT JOIN Partners! Это серия интервью с экспертами в области данных, аналитиками, дата-инженерами, руководителями дата-команд и фаундерами компаний.

Первый гость — вам хорошо известный Рома Бунин, Head of Data в Nebius Group и автор блога Reveal the Data.

В общем, про это все в выпуске и поговорили:
💬 Про работу в Яндексе — про дата-культуру и, конечно, про Datalens. Обсудили, чем он хорош и чем лучше (а чем хуже) конкурентов.
💬 Про жизнь и работу в Европе, культурный шок и Кипр. Кому есть смысл релоцироваться на Запад, а кто от этого не особо выиграет?
💬 Про личные проекты и в том числе про то, как ведение блога помогает найти работу (но это не должно быть его главной целью).

🔜 Смотрите на YouTube!

Как вам подкаст?
❤️ — Круто, давайте еще
👾 — Можно и лучше!

Будущее близко!

Оно прямо здесь → в папке каналов Future pack.

Ее создали LEFT JOIN (да, это мы!) и редакторы канала SM only news. Мы придумали идею и отобрали для вас 10 каналов, которые пишут про технологии, науку, маркетинг и немножко про бизнес — в общем, самые интересные и горящие темы.

🔜 Актуальный и полезный контент без спама рекламными постами или вчерашними новостями, чтобы оставаться в курсе событий и не тонуть в потоках оповещений — а еще человеку надо?

Как превратить случайных пользователей в постоянных с помощью метрик DAU, WAU и MAU
🔵DAU, WAU и MAU — это метрики пользовательской активности в день, в неделю и в месяц соответственно. Если совсем грубо, то они замеряют, сколько человек в приложении нажали на нужную кнопку.

🔵Например, сколько человек в онлайн-магазине сделали покупки или сколько студентов на курсе посмотрели лекцию.

Если знать, на что смотреть, то в этих данных можно найти огромный потенциал для развития продукта и завоевания сердец аудитории.

А на что смотреть? Читайте в новой статье на VC 🔜 https://vc.ru/marketing/1620897

Рассказываем, как анализировать показатели по отдельности и вместе (друг с другом и с другими метриками), чтобы более тонко понимать запросы аудитории приложения или сайта.

Прогресс Postgres
Мы тут недавно рассказывали про релиз новой версии PostgreSQL, которая, конечно, стала еще лучше прежней и получила еще больше возможностей и значительный прирост производительности.

💬 Высокая скорость работы за счет оптимизации запросов — в принципе одно из главных преимуществ этой СУБД. И если посмотреть, как росла производительность от версии к версии, то это реально впечатляет.

Мы сами их друг с другом не сравнивали, но нашли для вас того, кто это сделал. Правда, автор провел свое исследование сильно раньше, чем вышла версия PostgreSQL 17, так что в выборку она, само собой, не попала. Но выглядит все равно внушительно — он изучил, как выросла скорость работы СУБД за последние 10 лет и выяснил, что с каждой новой версией ее производительность увеличивалась в среднем на 15%.

Впечатлены?
❤️ — А то!
🌚 — Да я вашим постгресом вообще не пользуюсь…

Полнотекстовый поиск в PostgreSQL: какое решение лучше?
Нашли описание маленького, но интересного исследования на 50+ респондентов, которые рассказали, какие инструменты они используют для полнотекстового поиска (или full text search/FTS) в Postgres.

🔜 Большинство голосов получили Elasticsearch и нативный FTS-функционал в Postgres, хотя у каждого есть как минусы, так и плюсы.
🔵 FTS в Postgres простой (то есть не требует дополнительной инфраструктуры) и надежный, но плохо справляется большим датасетами, а его возможности ограничены — например, нет поддержки BM
🔵Elasticsearch — поисковый движок без ограничений «родного» поиска Postgres. Он быстро обрабатывает огромные массивы информации и «переваривает» почти любые запросы. При этом не обеспечивает такую же надежность и точность результатов, а еще требует больше ресурсов для внедрения и поддержки. Некоторые участники опроса рассказали, что Elasticsearch обходится им дороже всего остального софта, который они используют в работе.

Есть и другие альтернативы, в том числе и ParadeDB — инструмент, разработанный авторами исследования (да, опрос они проводили не просто так, а чтобы рассказать про свой проект).

Свое главное преимущество они видят в том, что их решение изначально заточено на работу именно с Postgres, а потому просто в использовании и при этом позволяет расширить его возможности, почти как Elasticsearch. В общем, берет лучшее от обоих.

А что выбираете вы? Ждем ваших вариантов! 👀

Что почитать этой осенью?
Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы с подборкой полезных ссылок. Хватит не на один вечер!

Правда, здорово? ❤️

Мы уже как-то раз писали про похожий материал: гайд по распределенным системам главного научного сотрудника MongoDB Research. Но там подход был очень основательный, со ссылками на целые книги и курсы.

Сегодняшний материал попроще. Он знакомит с основными понятиями и подкидывает ссылки на ключевые научные работы и статьи в Википедии. Самое то, чтобы усвоить главное и дальше двигаться к более сложным темам.

Сохраняйте себе, чтобы не потерять! 🔥

Поговорим про данные
Если ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.

💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошибиться). Он подсчитал количество эпизодов в каждом, частоту выхода и продолжительность. Сразу видно, кто выпускает контент стабильно, у кого основательные часовые эпизоды, а у кого — короткие лайтовые на 15-30 минут.

Важно: они все на английском, а информация об эпизодах спарсена со Spotify — выходят ли подкасты на других площадках, надо проверять дополнительно. Так что послушать из России может быть сложновато.

🔜 Но не расстраивайтесь! Вот 13 вариант, что послушать про данные — совсем скоро представим новый проект, подкаст про аналитику с аналитиками, экспертами и руководителями дата-консалтингов. Первый выпуск уже в эту пятницу! 🔥

Ну да, этот пост — подводка к релизу нового проекта. Но график же по ссылке правда классный?

Закрываем осенний сезон конференций с TECH WEEK
Заметили, что осень — это всегда сезон конференций? Все вернулись из летних отпусков, но еще не ушли в новогодние, так что это самое время встретиться с коллегами, обменяться опытом и заняться нетворкингом.

Как раз перед началом сезона «Давайте уже после Нового года», в Сколково пройдет одна из последних крупных технических конференций осени — TECH WEEK.

Несмотря на название она будет идти только три дня — 26-28 ноября.
🔵В программе 11 треков — про науку и технологии, ИИ, маркетинг, финансы и другие актуальные вопросы для бизнеса. Будут обсуждать инновации, новые тренды и современные подходы к организации рабочих процессов.
🔵 Кроме привычных докладов и дискуссий, обещают и свои уникальные специальные форматы — например, мозгоштурмы, нетворкинг на скорость и TECH Баню с ароматерапией.

А вы часто ходите на профессиональные конференции?
🔥 — Да, частенько
❤️ — Бывает, но редко
👾 — Вообще не хожу

Вакансия в Valiotti Analyitcs: менеджер BI-проектов
Дата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем менеджера проектов.

💙 И кстати: LEFT JOIN — проект Valiotti Analytics. Так что человека ищем не абы куда, а к себе команду.

Главное, что надо будет делать:
🔵 Координировать и контролировать работу над проектами, ставить сроки и цели.
🔵 Взаимодействовать с клиентами, командами проектов и другими департаментами компании.
🔵 Развивать и улучшать процессы работы над проектами.

Какие требования?
🔵 Опыт работы над ИТ-проектами от 2 лет (идеально, если этот опыт был связан с BI и аналитикой) по Agile.
🔵 Уверенное владение Miro и Notion.
🔵 Знание английского на уровне B2 или выше
🔵 Коммуникабельность и проактивность.

А что по условиям?
🔵 Fulltime в часовом поясе, близком в GMT +3
🔵 Полная удаленка.
🔵 Работа над интересными проектами в сильной команде без бюрократии и с демократией.
🔵 Зарплату обсуждаем индивидуально.

🔜 Это про вас? Тогда пишите скорее нашему HR Татьяне @tanya_zab или отправляйте отклик в Huntflow с комментом, что вы из LEFT JOIN.

ChartDB — бесплатный редактор диаграмм БД
Мало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.

ChartDB — как раз такой. Это open source тул, который создает схемы БД за один запрос и 15 секунд.

🔵 Можно запустить локально (за инструкциями идем на гитхаб), также есть веб-версия.
🔵 Работает с PostgreSQL, MySQL, SQL Server, MariaDB, SQLite и
🔵 Получившиеся схемы можно редактировать, дополнять комментариями или экспортировать в виде картинок, если вы захотите добавить их в отчет или документ.

Все это бесплатно, однако есть но. ChartDB пока находится в публичной бете, так что со временем разработчики могут добавить какую-нибудь монетизацию. И скорее всего, это и сделают. Так что поспешите потестить инструмент, пока это не случилось. 👀

Про бизнес, маркетинг и истории успеха
Понедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.

Но вот вопрос — с чего начать? Чем заниматься? И где вообще брать идеи для бизнеса?

🔵К счастью, в телеграме найдется все. Например, канал Макса Иванова, который пишет про бизнес и маркетинг: новости, громкие рекламные кампании и завирусившиеся в соцсетях тренды.

🔵Вот вам пример — в Китае придумали ватные палочки с йодом. Теперь китайцы могут нарисовать йодную сеточку, не таская с собой бутылек с лекарством. Чем не идея для бизнеса? Берите в оборот, пока вас никто не опередил!

🔜 На канале Макса еще много идей и вдохновляющих историй успеха для тех, кто вдруг почувствует, что теряет мотивацию.

«Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»

В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data.

О чем мы поговорили?
🔵 О планах поработать инженером-конструктором на немецком заводе.
🔵 Об отсутствии финансовых перспектив в машиностроении.
🔵 О лучшем способе «зайти в Data»
🔵 О классных проектах в Amazon и Microsoft.

🔜 Подробности — в канале Карьера в Data | LEFT JOIN