Бегущий по лезвию данных

SQL-песочницы

Раньше я уже делился одной из песочниц, довольно простой в использовании, но не идеальной. Во-первых, в ней на выбор всего три СУБД — MySQL, PostgreSQL и SQLite. Довольно скромный набор. Также приходится разделять по разным окнам запросы на создание таблиц и на выборку данных. Ну и вывод результата не очень компактный, как по мне, особенно при нескольких селектах. Поэтому расскажу про аналоги, которыми пользовался:

SQLize Online — удобная песочница с большим выбором СУБД, приятной темной темой, возможностью пошерить код, выбрать размер кегля, загрузить скрипт из файла. В целом, все по делу и удобно.

db<>fiddle — этой песочницей я пользуюсь чаще всего, тут многое меня радует.
🔹 можно разделить код на ячейки, при этом если вы скопировали большой кусок, то просто вставляете его в ячейку и сплитуете по кнопке в меню
🔹компактный и удобный вывод
🔹чтобы поделиться кодом просто копируем ссылку
🔹можно подсветить нужную ячейку

Не хватает только времени выполнения, как в db-fiddle.com, но это можно посмотреть в плане запроса.

Если пользуетесь удобными SQL-песочницами, делитесь ссылками в комментариях ⬇️

#sql

Небольшая хитрость в DataLens

Бывает, что в чарте необходимо отобразить показатель только на определенном временном отрезке — например, дать прогноз на основе текущего факта.

Допустим, у нас датасет с данными по дням, менять который нам некогда. Прогноз высчитывается уже в DataLens по формуле и хранится в показателе forecast. Если просто забросить показатель на ось Y, то мы получим лишний столбец в прошедших месяцах, а он нам не нужен. Благо, есть вычисляемые поля.

if(month(max([date])) = month(today()), [forecast], null)

Создаем новое поле, в котором возвращаем null, если месяц уже прошел и forecast, если это текущий месяц. Поскольку в чарте мы группируем данные по месяцам, то в формуле агрегируем date, чтобы не получить ошибку.

Готово, теперь прогноз отображается только для текущего месяца. На чарте мы видим, что расстояние между месяцами стало больше из-за столбца, который не прорисовывается, но приходится чем-то жертвовать.

В целом, такой подход можно использовать с разными условиями и не только под прогноз. Например, можно показывать рост/падение (YoY, MoM) только для завершённых периодов или выделять текущий месяц/квартал в отчете.

#datalens

Среда это маленькая пятница

Прадедушка Excel — первый табличный редактор VisiCalc

Придумал его программист Даниэль Бриклин, который закончил MIT, посмотрел на окружавший его мир и понял, что программисты скоро станут не нужны (как в воду глядел). Осенью 1977 года он поступил в Гарвардскую школу бизнеса, где ему и пришла идея создать электронную таблицу.

У меня был калькулятор, по вечерам я занимался дома вычислениями и когда я делал ошибки, то мечтал о создании "текстового процессора" для чисел, с тем, чтобы их можно было пересчитывать с новым допущением, скажем 12 процентов вместо 10.

В общем, задумал, взял себе в партнеры Боба Фрэнкстона и уже в 1979 году первая версия программы увидела свет.

Чем вообще интересен VisiCalc?

🔸 Первый "Killer App"
Люди массово покупали дорогой Apple II ради VisiCalc – это был первый софт, ставший главной причиной покупки персонального компьютера.

🔸Спаситель Apple
Продажи Apple II взлетели именно благодаря VisiCalc, превратив компьютер из устройства для ученых в бизнес-инструмент.

🔸Патентные войны
Создатели VisiCalc позже судились с Lotus 1-2-3, обвиняя их в копировании идей – эти затяжные суды в итоге погубили обе компании.

🔸Польза для бизнеса
Мгновенный пересчет формул перевернул финансы и планирование. Софт экономил столько времени, что $2000 (для того времени большие деньги) за Apple II оправдывали себя.

🔸Быстрый закат
Несмотря на ~700 тыс. продаж, Lotus 1-2-3, а затем и Excel быстро смели VisiCalc с пьедестала.

Пощупать версию VisiCalc от 1981 года можно здесь.

Это новая рубрика #история_данных, время от времени буду заниматься цифровой археологией и делиться с вами тем, что мне самому интересно. Например, первые табличные редакторы, к которым мы еще вернемся 🔜

Jupyter в смартфоне?

Если вам вдруг захочется покрутить юпитер-тетрадки в смартфоне — при этом не в гугл колабе или каком-нибудь онлайн юпитере, а локально, то это можно довольно просто сделать.

1. Заходим в Google Play и скачиваем IDE Pydroid 3
2. Выбираем pip, устанавливаем jupyter, pandas и все необходимое
3. Открываем терминал, запускаем jupyter notebook
4. Готово, теперь у вас нет оправдания, что вы не у компа

Думаю, на планшете с клавиатурой в нем даже можно поработать в крайнем случае, а вот на телефоне разве что набросать пример из книги или поковырять задачу, пока валяешься на пляже)

Чаты по СУБД 😆

В дополнение к прошлому посту с чатами по BI, собрал также в один список чаты по различным СУБД + бонусом несколько по другим инструментам.

Чаты по СУБД

1. ClickHouse
2. PostgreSQL
3. MySQL
4. Oracle
5. MS SQL
6. Greenplum
7. MongoDB
8. DBA - русскоговорящее сообщество

Бонус

1. Power Query
2. Apache Airflow
3. Apache NiFi
4. Docker
5. GitLab

Дополняйте список в комментариях ⬇️

#sql

Подборка чатов по 🔤🔤

Нередко BI-системы ведут себя не так, как мы этого ожидаем. Чарты ломаются, формулы не возвращают нужное значение, не работает drill down и прочие неприятности. В такой ситуации можно пойти пытать Deepseek или ChatGPT, но многие BI-системы для них — темный лес, поэтому скорее всего вместо ответа вы получите прикольную фантазию по теме. Еще можно обратиться к технической документации, но кто так вообще делал, не дойдя до отчаяния это долго и нет гарантии, что вы найдете ответ на свой вопрос.

Иногда проще спросить у людей. Например, у коллег из других компаний.

Ниже список телеграм-чатов по BI-системам. В них вы найдете массу всего интересного под свой инструмент. А еще иногда в таких чатах публикуют вакансии или ищут исполнителей под небольшой проект.

Ccылки на чаты

1. Yandex DataLens
2. Tableau
3. Microsoft Power BI
4. Looker Studio
5. Apache Superset
6. Visiology
7. FineBI
8. Qlik Sense
9. PIX BI
10. Metabase
11. Форсайт
12. Modus BI
13. Luxms BI
14. AW BI
15. Russian Business Intelligence Chat

Добавляйте в комментарии чаты по BI-системам, которых нет в списке)

Как обойти фильтр? 😎

Недавно я писал про общение с AI-рекрутером от пчелок, но ведь по сути это проблема не новая и автоматизация в найме давно — тот же пресловутый фильтр, который работает у всех по-разному 😓

И вот пример. Скоро я выхожу на свою третью работу в IT, за это время прошел массу собеседований и чего только не делал со своим резюме, однако есть один банк 🧟, от которого я всегда получал один и тот же ответ после отклика на hh — оперативный отказ ☺️

Я пробовал разные резюме, писал сопроводительные 🙏, подстраивал резюме под вакансию, но фильтр все равно не удавалось пройти. Не то чтобы я горел желанием у них работать только получать квартальные премии, но хотелось определить, а по какому же признаку я не прохожу?

По итогу у меня остался один подозреваемый — меньше года работы на последнем месте (два последних случая именно такие) 🏎

При этом у меня не было таких проблем с другими банками, даже наоборот — видя в резюме релевантный опыт в банковской сфере эйчары писали и без отклика.

Как быть, если ваше резюме сразу улетает в корзину, не дойдя до эйчара?

Недавно читал об этом подробный пост в канале Data Дзен с Олегом Дмитриевым. Олег в аналитике уже 6 лет и давно руководит командой аналитиков 🦖, соответственно участвует в найме с другой стороны . Он дает крутые советы, которые действительно могут помочь улучшить резюме, чекните сами 😎, если еще не видели этот канал в недавнем посту Ромы Бунина (я не плачу, это просто дождь).

К ним я бы хотел добавить несколько своих, некоторые все-таки помогли мне обойти фильтр "меньше года на прошлом месте".

🔹Если мы не можем обойти фильтр на hh, то обходим hh и откликаемся в телеграме. Ищем группы, в которых публикуются вакансии (например эта) и пишем напрямую эйчару. Собственно так я и сделал, и вышел наконец на собес, где меня поимели за SQLAlchemy🤣

🔹Находим человека из компании, в которую вас блочит фильтр, и просим рефералку 🖐 Часто можно просто написать в любых аналитических чатах/каналах и человек найдется.

🔹Откликаемся на аутстафф-вакансии, которые набирают людей на проект в нужное место. Часто в таких вакансиях нет вообще фильтров🙂

🔹Заходим на сайт компании и пишем напрямую на почту, откликаемся на хабре, на гетматч и во всех возможных и невозможных местах 🙏

🔹Берем новый номер и создаем новый акк на hh. Говорят, в некоторых случаях позволяет сбросить историю откликов, поскольку обычно данные мэтчатся по номеру телефона 😑

🔹Залетаем в канал Олега https://t.me/data_dzen и прокачиваем свое резюме, он частенько разбирает их, еще и бесплатно 💯

Делитесь в комментариях своими лайфхаками ⬇️

Вчера получил оффер. Сегодня написал заявление на увольнение. По итогу отработал почти год. Прекрасная команда была, работал бы и дальше, но причина объективная – банк скоро будет полностью поглощён и прекратит свое существование. Сидеть и ждать сокращения не очень интересно и очень не выгодно с точки зрения роста по навыкам. Осталось отработать две недели, неделю отдохнуть – и в новые дебри)

Пошла автоматизация найма. Вчера AI-агент от пчёлок пытался выяснить у меня вилку, которую я упорно не хотел называть, потому что до конца не был уверен, что это вообще их агент – мало ли кто просто мониторит ситуацию на рынке и назвал профиль таким образом. Почему не человек? Ссылки на вакансию нет, вопросы такие, словно резюме никто не видел, ответы объемные и приходят очень быстро, формулировки опять же не очень естественные, да и на реплику про генерацию ноль реакции. А сегодня пошло продолжение – приглашение на интервью с ИИ. Откровенно говоря, я все ещё не уверен, что это пчёлки, потому что такая история с видеозаписью ответов, кажется, требует предварительного подписания согласия на обработку персональных данных, а я его не вижу. В любом случае, тенденция интересная, но у меня почему-то большого энтузиазма на этот счёт нет. Осталось дождаться, когда на рынке появится AI-агент, который будет ходить вместо нас на такие собесы))