LEFT JOIN

Вакансии аналитиков март-май 2022
Количество вакансий аналитиков относительно прошлого года упало не на много, всего на 14%. Но по сравнению с предыдущими тремя месяцами сократилось на более значительную цифру в 27%. Это можно было бы списать на сезонность и меньшую активность весной. Она и вправду есть, но в прошлом году весной вакансий в сумме было больше, чем зимой.

Зарплаты относительно прошлого года выросли на приличные 20%. И рынок при этом всё ещё перегрет — на одно активное резюме на сайте приходится в среднем две вакансии.

В разбивке по срезам просели все типы вакансий, кроме удалённых. Таких стало на 16% больше даже с учетом отступающего ковида. Больше всего упали позиции младших аналитиков, на целых 40%, получить первую работу, к сожалению, станет сложнее. Зарплаты выросли больше всего у инженеров данных и дата саентистов.

Данные и обзор подготовили:
@revealthedata @leftjoin

Рома Бунин сделал новые классные карточки по вакансиям аналитиков 🤩

Хотя предпочтения моделей и их сравнения субъективны, поделитесь вашим мнением, какая модель по-вашему лучше? Для примера, слева изображение, созданное Imagen, справа – DALL-E, а, для большего понимания работы моделей, советуем посмотреть другие варианты изображений с одинаковыми входными данными.
🔥 за свежую гугловскую Imagen и ❤️ за хорошо изученную DALL-E 2!

💭 Anything you can Imagen 🌏

Про модель генерации DALL-E 2 (очевидно созвучную фамилии великого художника Дали) мы написали несколько подробных постов: про запуск модели, про устройство модели и про её ограничения. Однако, это не все, что просходит в сфере AI на данный момент. 24 мая Google тоже выпустили модель "text-to-image", которая называется Imagen (созвучно imagine – представлять, воображать). К сожалению, Google пока что не открыл доступ к модели по причине возможного злоупотребления полученными результатами.

🤔 Imagen работает с естественным языком, например «Золотистый ретривер в синем клетчатом берете и водолазке с красными точками», а затем используя "замороженный кодировщик" T5-XXL, преобразует этот текст во эмбединги. Затем «условная диффузионная модель» отображает встроенный текст в маленькое изображение размером 64x64. На последнем этапе Imagen использует текстовые диффузионные модели сверхвысокого разрешения для повышения дискретизации изображения 64x64 до 256x256 и 1024x1024. Чуть подробнее об этом рассказывают здесь.
Поскольку вы уже погружены в контекст работы DALL-E 2 (если нет, скорее погрузитесь), то мы сделаем акцент на отличиях моделей.

🎨 Во-первых, многие отмечают разницу в реалистичности изображений. DALL-E 2 превосходно создаст картину в определенном стиле с заданными объектами, а реальные изображения почти всегда вызывают сомнения. Imagen же поражает «беспрецедентным фотореализмом» и по оценкам Google, Imagen побеждает DALL-E 2 в тестах на человеческую оценку как по точности, так и по достоверности.

🛠 Во-вторых, Imagen сильно превосзодит предшественника в работе с деталями. Вы можете задать очень подробное описание объектов и их расположения и, скорее всего, результат даже превзойдет ваши ожидания. В то время как DALL-E 2 скорее всего либо перегрузится, либо упустит какую-то часть деталей.

📦 В третьих, коротко опишем разницу в устройстве моделей. Несмотря на то что модели создавались параллельно и разработки не пересекались, смысловые блоки элементов, преобразующих текст в изображение, достаточно похожи. Однако, одним из основных отличий является первый этап – text encoding. Разработчики Google AI используют большую обученную модель, похожую на GPT-3, для того чтобы понять текст так хорошо, как только это можжет сделать AI система. Вместо того, чтобы обучить текстовую и генерирующию изображения модели, они используют предобученную модель и "замораживают" ее на время обучения модели генерации изображений. Исходя из исследования, сопровождающего выход модели, именно это сильно улучшило эффективность модели.

#leftjoin_ai

Научись визуализировать данные с Яндекс Практикумом

Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения навыкам «Визуализация данных и введение в BI-инструменты». Курс предназначен для обучения студентов с нуля, специальных знаний для старта не требуется.

Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний.

Длительность — 3 месяца.

Курс построен в формате симулятора — стажировки в компании, чтобы приблизить обучение к реальным рабочим процессам. Вы будете интерпретировать запросы руководства и коллег, исправлять ошибки ваших предшественников, получать и давать обратную связь.

Вы научитесь:

▪️Фундаментальным основам визуализации: какие бывают данные, как разные данные преподносить, как создавать визуализацию информативной и понятной для пользователя;
▪️Пошаговому алгоритму визуализации;
▪️Выбирать и создавать подходящие типы визуализации для разных данных и бизнес-запросов;
▪️Базовому функционалу и построению различные графических конструкций в нескольких BI-системах – Tableau, DataLens, Datawrapper.

В финальной части обучения вы самостоятельно выполните бизнес-проект по требованиям заказчика: создадите интерактивный дашборд, отражающий разные грани бизнеса — от финансовых потоков до эффективности сотрудников.

Стоимость курса:

64 500 рублей при разовой оплате, при оплате в рассрочку – 22 500 рублей в месяц.

По завершении программы студенты получат удостоверение о повышении квалификации.

Запись на обучение в первый поток и подробности по ссылке
#реклама

А так выглядит скриншот считанного чужого AirTag. И у полиции есть все шансы найти злоумышленника по опознавательным знакам, отправив запрос в 🍏

🚨 Будьте аккуратнее с AirTag 📍
🎉 В начале прошлого года Apple выпустила шикарные небольшие метки AirTags, чтобы находить оставленные ключи и кошельки. Учитывая успешное повсеместное внедрение продуктов компании, таких как iPhone, AirTags вполне могли бы привести потребителей к постоянному отслеживанию местоположения своих вещей, чтобы ничего больше не было потеряно или забыто. Принцип его работы в следующем: AirTag транслирует по Bluetooth защищённый сигнал, который умеют принимать ближайшие устройства с включённой функцией «Сеть Локатора». Они отправят геопозицию вашего AirTag в iCloud, и тогда вы можете увидеть свой трекер на карте в приложении «Локатор». То есть для того чтобы узнать местоположение AirTag рядом должен быть хотя бы один любой смартфон.

🤔 Но у каждой новой технологии, которая делает нашу жизнь удобнее, будь то бесконтактные платежи или Face ID, есть своя цена. В последние месяцы люди чувствуют себя крайне некомфортно и небезопасно, обнаружив метки AirTags, спрятанные в их сумках и автомобилях. Они небеспочвенно боятся, что их будут сталкерить или что кто-то хочет украсть их вещи или автомобили. Вот история девушки, которая рассказала историю о слежке с точки зрения преследователя, а вот статья о том, как люди внезапно находили AirTag в своих сумках и машинах. Люди, конечно, получили предупреждения на свои iPhone — функция, которую Apple встроила в систему AirTag, чтобы предотвратить нежелательное отслеживание. Однако, это не меняет сути дела, ведь оповещение приходит не сразу.

📝 Почему я так подробно рассказываю вам об этом сейчас?
Все дело в том, что в понедельник вечером к моей машине на Кипре прикрепили AirTag. А во вторник вечером я об этом узнал, потому что айфон среагировал на то, что за мной следят. Разумеется, я вызвал полицию. В целом, конечно, дело пахнет керосином, потому что найти мошенника крайне сложно. Однако, Apple раскрывает немного информации о хозяине AirTag: серийный номер устройства и последние 4 цифры телефона. Исходя из этой информации полиция может запросить у Apple остальные детали.

🔍 Как себя обезопасить?
Если честно, мы мало что можем сделать в этой ситуации, кроме как хорошенько следить за своими личными вещами. К сожалению, оповещения об оставленном устройстве приходят не сразу (мне пришло примерно спустя полдня). В этой статье собраны те немногие меры, которые могут помочь вам отслеживать подброшенный AirTag или любое другое устройство (например, по тому же принципу осуществляется поиск беспроводного наушника). Нужно включить службы геолокации, Bluetooth, а также разрешить "Уведомления об отслеживании".

Все это, конечно, очень и очень неприятный опыт, друзья. Будьте бдительны, сегодня технологии далеко не всегда используются во благо!

💻 Еще один BI-инструмент, о котором мы не можем не рассказать 💭

Кажется, раньше мы (совершенно зря!) не рассказывали вам про сервис GoodData BI-сервис, который очень и очень хорош, а также чем-то напоминает Tableau.
Преимущества:
🔍 Подключается к таким сервисам, как AWS Redshift, BigQuery, Snowflake, PostgreSQL, Vertica;
🔍 Создает публичные и выделенные пространства;
🔍 Хорошо распознает форматы данных в таблице;
🔍 Максимально нативный интерфейс.

Тестировали? 🙂

📊 Excel в Python – это точно хорошая идея? 🤔

Знаем-знаем, этот заголовок звучит как изобретение велосипеда. Многие аналитики были счастливы в какой-то момент перестать работать в Excel и перешли на работу с CSV-шками в Pandas, но нашлись те, кто наоборот попытался создать Excel в Python.
Разработчики Mito создали mitosheet package для Python, который воссоздает в JupyterLab Notebook кликабельный Excel-подобный интерфейс. Они заявляют, что возможность доступа и редактирования таблицы без необходимости писать код сильно упрощает процесс работы с данными, потому что не нужно искать решение очередной ошибки данных на Stack Overflow. Каждый ваш клик в таблице преобразуется в корректный код, с помощью которго можно добиться той же цели.
Такой вариант может быть весьма неплохим решением для тех, кто переходит из Excel в Python без знания языка программирования, однако, по сути, этот плагин превращает работу с данными из формата "запрос – результат" в ручное преобразование.
На наш взгляд, это весьма спорный метод, однако, он, как и многие другие, имеет право на существование и свою аудиторию. А что вы думаете?

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🌯 Мексиканский фастфуд и хитрые инженеры
Когда появляется какая-то проблема, люди делятся на тех, кто придумывает решение, и тех, кто смиряются с её существованием. Студенты-инженеры из университета Джона Хопкинса были крайне недовольны разваливающимся в процессе употребления буррито. К поиску решения они подошли как настоящие ученые: изучили исследования скотча и различных склеивающих материалов, а затем начали создавать собственный съедобный скотч для скрепления буррито. Финальный продукт представляет собой кусочки сьедобного скотча на гладкой бумаге, которые нужно открепить, добавить немного воды и скрепить буррито или любой другой ролл.
К сожалению, секретные ингридиенты еще не известны, так как авторы подали заявку на патент, но тестовый вариант выглядит космически!

🗣 А мы разве знакомы?
В самом высокоцитируемом научном журнале Nature вышла новая статья, авторы которой выяснили, что когда мы узнаем информацию о незнакомце, мы склонны ошибочно полагать, что они тоже знают о нас. Гипотеза исследователей была такой: зачастую социальные отношения имеют двухстороннюю связь (например, тот, кого вы считаете другом, наверняка тоже считает вас таковым), однако, иногда отношения все же односторонние, но наш мозг продолжает думать, что это не так. Авторы провели эксперимент, и выяснили, что когда жителям района рассказывают личную информацию о местных полицейских, уровень преступности в этом районе падает. Все это происходит потому, что люди склонны думать, что раз они знаю что-то о человеке (полицейском), то и он о них тоже осведомлен. Такой простой метод борьбы с преступностью может даже заменить текущий (консервативный): увеличение числа полицейских в неблагополучных районах также уменьшает уровень преступности.

👨🏼‍🎨 Мы же обещали: снова про DALL-E
Если в этом году у вас не получится поехать в отпуск, DALL-E вам поможет убедить всех друзей, что вы отлично отдохнули на Сейшелах. Мэтт Белл уже воспользовался такой возможностью и опубликовал пост с 22 настоящими фото со своего отпуска и добавил 4 автоматически сгенерированных по описанию того, что он видел. 83% его аудитории, которые после прошли опрос о реалистичности фото, даже не подумали, что это фейк (несмотря на водяной знак в углу изображения и другой размер кадра). Конечно, аудитория, состоящая из друзей в фейсбуке, более склонна "поверить" автору, чем засомневаться, но тем не менее это очередной аргумент в пользу высокого качества работы модели!

🧀 Никаких больше подделок итальянских сыров
Самый лучший сыр Пармиджано запрещено подделывать, однако, бороться с этим очень трудно. Именно поэтому итальянские сыроделы решили внедрить технологию отслеживания головок сыра. Чтобы защитить свой пармезан, консорциум Parmigiano Reggiano Consortium, по сути, профсоюз, основанный в 1934 году, объединился с голландской компанией, которая специализируется на производстве чипов p-Chips. Эти чипы дают каждому сыру уникальную и сканируемую бирку. Кроме того, информация о пармезане сохраняется в блокчейне, поэтому её легко отследить.

#weekly #дайджест

Итак, модели DALL-E удалось запутать большую часть наших подписчиков! На самом деле, изображение сгенерировала именно она, получив на вход следующую инструкцию: "A photograph of a saguaro cactus wearing a sun hat and aviator sunglasses in a sunny desert".

Мы тоже по-началу ей поверили, ведь получилось весьма похоже на настоящую фотографию. Следите за нашими постами, мы планируем и дальше делиться новостями и статьями о лучшей современной AI-модели 🤖

🛢SQL hub - без баз даных программирование невозможно. Узучи SQL быстро и легко. В канале собраны самые доступые и понятные гайды для освоения SQL.

Полная ит-библиотека вместо тысячи платных курсов и книг.

LEFT JOIN pinned a photo

🎨 Is it real or is it fake? 🤖
За последние несколько недель мы часто рассказывали вам про AI-модель DALL-E: про ее устройство и ограничения. Теперь пришла пора проверить, насколько внимательно вы читали наши посты и насколько хорошо модель создает реалистичные изображения. This Image Does Not Exist – простой тест, в котором вам показываются настоящие и сгенерированные моделью изображения, а вам нужно предположить, кто его создал. Например, изображение выше: как думаете, кто его создал? Ставьте ❤️, если вы думаете, что изображение реальное и 🔥, если думаете, что его создала DALL-E

#leftjoin_ai

Georgia Tech: Summer Term 2022

Любопытное совпадение: Роман Зыков (автор книги Роман с Data Science) у себя в канале написал про курс Reinforcement Learning от Coursera, а я только что в этом летнем семестре Georgia Tech взял аналогичный курс: CS 7642: Reinforcement Learning.
Будет очень интересно сравнить контент. Мне курс из Georgia Tech пока очень нравится: живой и крайне доступный, даже думаю сюда intro-видео запостить, потому что лекторы умудряются регулярно шутить и вовлекать в весьма не самую простую тему 🥸

#gatech

👨‍🎨 DALL-E не всемогущ? 🖌

Мы уже рассказывали вам про AI-модель, которая генерирует удивительные (и очень точные!) изображения на основе текстового описания. Сегодня нам хочется чуть поумерить всеобщие восторги и разобрать некоторые ограничения модели, которые не видны на первый взгляд.

📍Недостаток информации: Иногда модели нужно давать очень много уточнений, чтобы получить то, что нужно
📍Трудности в понимании контекста: В то же время, когда описание слишком длинное, модель чаще ошибается и хуже оценивает контекст (особенно, со словами, которые имеют несколько разных значений)
📍Никто не может знать всего: DALL-E может попросту не знать (не иметь никаких данных) о том, что вы хотите получить
📍У всего есть предел: Модель не может работать со слишком длинными описаниями с большим количеством дополнений
📍Все смешалось в доме Облонских: Модель может смешивать описания и присваивать определенные черты не тем объектам, которым нужно
📍Странные изображения: Если вы хотите создать изображение с совершенно разными (несочетающимися) деталями, то модель вероятнее всего вас не поймет
📍Художник, а не писатель: если вы хотите сгенетировать изображение с текстом или подписью, буквы могут быть ненастоящими
📍И, точно, не математик: Если вы хотите получить более 4 обьектов на изображении, то по мере роста числа обьектов, вероятность получить нужное количество неуклонно падает
📍Лица всем художникам даются с трудом: Зачастую лица людей на изображениях выглядят неправдоподобно, как у сломанной куклы или робота

Если какое-то из ограничений осталось не вполне понятным и вообще таковым не кажется, то в этом треде есть визуальные объяснения, которые помогают понять, в чем же все-таки дело.
Конечно, все эти нюансы никак не отменяют того, что это самая качетсвенная современная модель для создания и преобразования изображений. Просто всегда есть куда стремиться и что улучшить, не так ли?

#leftjoin_ai

Все знают, какие запросы аналитики пишут на языке SQL, но с какими запросами они чаще всего приходят в кабинет психолога? Разберемся в четвертом эпизоде DataHeroes! 🚀

Мы решили обсудить не только науку о данных, но и внутренний мир человека, который её изучает. Иногда мы будем делать выпуски о психологии и приглашать специалистов этой области. Сегодня мы поговорим о таком явлении, как синдром самозванца, который присутствует аж у 70% людей! Надеемся, что вы не попадаете в эти 70%, однако никогда не бывает лишним проверить себя. Скорее включайте подкаст, чтобы узнать, как распознать в себе самозванца и, главное, как с ним бороться! 🦸🏻‍♀️

Спикеры: Виктория Коппер, Ринат Акчурин, Анастасия Калашникова

Слушайте подкаст на плафтормах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Castbox, Telegram (↓)

#подкаст #DataHeroes

Когда написал SELECT * FROM табличка
#мем