Через тернии к Визам

How to. Make Actuals in CH + Plan in CSV
Если у вас факты не адские (то есть, мы не говорим о плановом DAU и подсчет юников единиц миллионов и план под него), а просто рубли, где будует сумма классическая и план тоже сумма, то есть простой способ добавить к факту (его обычно DWH собирает) план рядышком, если вдруг таблицы еще нет в Merge в CH, просто выложив его на S3.

SELECT
'plan' as slice,
* FROM s3(
'https://storage.yandexcloud.net/skaradubpics/extracts_tests/plan_1.csv','CSV')
UNION all
SELECT 'actual' as slice,
category_stream_name as category,
msk_item_created_dt as creation_date,
cast(item_price_rub as Int64) as metric
FROM {YOUR_TABLE}

How to. Get new Ideas?
Хороший блог у продукта datawrapper, очень классно для насмотренности и логического объяснения, что можно и что не стоит делать на чартах. Например, разные скейлы на чартах. Всем советую добавить в закладочки =)

How to. Убрать лишнее из ClickHouse
Тут ранее пост выкладывал про набор полезных скриптов в ClickHouse, мне пришел фидбек, что надо много шагов выполнять, потом объединять итоги, чтобы общую картинку сделать.
Поэтому сделал для удобства единый дэшик в галерею, куда вставляете табличку, лимиты по данным и логам - и voila, профиль таблички, полезность полей, примеры значений, ну в общем всё для того, чтобы почистить и правильно отсортировать вашу витрину.

Из интересного, для погружения в Editor:
- Двухшаговые селекторы с кнопкой
- Много датасетов и запросов в табличке

Запускается на любом CH, просто введите свои креды

В общем, Enjoy!

Иерархия с барчартами в Галерее
Сорян, запамятовал, исправляюсь.
Выложили в Галерею дэшик с иерархией для финансовой отчётности, можно развернуть, посмотреть логику кода, переиспользовать с любой ирерахией с нумерацией строк

Пишите, какие типы визуализаций еще могут быть полезны в финансовой отчётности.

Про WaterFall в строках помню, но есть нюансы - при большой вложенности это Адово смотрится, то есть красиво выглядит только на небольших ненастоящих данных =)

FrAIday joke.

На самом деле, часто AI очень капитански помогает с анализом графика / дашборда. Нужно давать больше контекста про бизнес, модель и в идеале давать возможность итеративно искать инсайты.

Кажется, AI, наконец, заставит всех вложить ресурсы в дата каталоги и DQ =)

To watch.Pantheon.
Небольшой анимационный сериал, местами с прекрасными визуальными образами (напомнили Айснера), чтобы развивать насмотренность, с пелевинскими мотивами и этическими дилеммами, человек или компьютер.
ИИ сложно создать до конца с сознанием, проще сознание человека загрузить...

Смотрю всё на английском обычно, чтобы не совсем уж time killing, тут он не сложный.

- почему ты тут советуешь комиксы, фильмы, мультики?
- верю, что это часть повышения насмотренности

Friday Joke.
В этот раз не про данные, но прям очень понравилось =D

При этом, Ферма внес ощутимый вклад в теорвер

How to. Organize selectors
1) Сгруппируй селекторы по смыслу
- включи верхнее отображение названия
- туда КАПС добавь текст
- включи внутренний заголовок
- включи и заполни подсказку
- voila
2) Подсвети ⚡️поля, которые у тебя в индексе / в сортировке, чтобы пользователь не забывал по ним выставлять фильтры
3) для ID старайся не использовать списки - а используй поля ручного ввода / массовые поля ручного ввода
4) Аббревиатуры всегда расшифровывай в "Подсказке"
5) Если основной паттерн - это много разных фильтров - включай кнопку "Применить", чтобы не нагружать лишний раз источник

Небольшие приятные фичи за прошлый месяц.

Мой фаворит - ввод из буфера значений в параметр =)

А как вам в целом лучше было бы узнавать о новых фичах в BI-продукте?
- Попапами в продукте?
- Текстовыми анонсами в канале / чатике?
- Видосиками?

ClickHouse 25.7 - Features for BI
Уже две недели как вышел 25.7, а у меня только руки дошли посмотреть, что же там интересного появилось

1. Возрадуйстесь, финансисты, теперь в ClickHouse есть IRR и NPV =) на самом деле, буквально месяц назад меня спрашивали из команды финансов, что вот в PowerBI можно сделать IRR, а у нас нельзя, доколе? =) постараемся поддержать внутри DataLens побыстрее

2. Ускорение count() на 30% с GROUP BY (если у вас в датасете одна строчка что-то значит сама по себе)

3. Очередная порция оптимизации JOINS!
- RIGHT and FULL
- INNER JOIN такой же быстрый, как оператор IN!! (но пока медленнее, если у IN берется индекс)

4. ClickHouse Client Agent - Ну и как же без AI.
Теперь в clickhouse-client встроена AIшка, которая пишет скрипты и умеет создавать / менять таблички по человеческому вводу. Себе в поддержку выполняет всякие селекты метаданных и тому подобное. То есть в клиенте вместо SQL просто пишешь словами, что надо сделать и он пишет тебе скрипт, ты проверяешь - если ок - запускаешь. Выглядит интересно, надо понять только, можно ли подкладывать свою модельку, а не дорогущий Claude =)

⚡️ Параметризация источника в датасете

Встречайте функциональность, выводящую работу с вашими датасетами на новый уровень!

Параметризация позволит:
- Подменять таблицу в запросах
- Передавать в SQL, определяющий датасет, параметр как часть запроса

Смотрите видео и читайте подробности в документации!

Фича, которую очень ждали многие (и мы внутри Яндекс тоже), вот теперь можно разгуляться 😃

В моём детстве у меня была энциклопедия Профессора Фортрана и это было нереально круто. Считаю, что после нее с алгоритмами сильно проще в начальной школе было.PDF

А вот ребенку лет 5 назад купил на Авито книгу французских авторов, которая была выпущена намного раньше ЭПФ и в ней очень интересно и про распознавание образов и про роботов-пылесосов рассказано с алгоритмами. PDF

UPD. когда увидел ее на Авито вспомнил сразу Филипа К. Дика =)

Friday Jeeza
На самом деле, правильный prompt - это важная часть работы с сетками.
Вот эту картинку собирал в PowerPoint, потому что не умею в картиночные промпты =)
Коллега Антон вот умеет в музыкальные сетки и прикольно получается - а для меня это вообще темный лес как и создание музыки =)

А ты чем пользуешься и для каких задач?

How to. Filter for YoY* efficiently
Если нужно сравнить какой-то интервал с таким же интервалом предыдущего года - мы используем AGO, LAG. Но если данных в табличке ОООЧЕНЬ много - это неэффективно, дорого и даже мощная железка ClickHouse может сказать НЕТ

Чтобы этого избежать - фильтруйте сразу нужные интервалы дат заранее, для самого интервала и соответствующего YoY, так вы сильно меньше прочитаете данных, не будет JOINs и ваш пользователь будет счастлив =)

*Year-over-Year сравнение

[

filter_date] BETWEEN
Date(SUBSTR([date_interval],12,10))
AND
Date(SUBSTR([date_interval],37,10))
OR
[filter_date] BETWEEN
DATEADD(Date(SUBSTR([date_interval],12,10)),'day',-364)
and
DATEADD(Date(SUBSTR([date_interval],37,10)),'day',-364)

AI - BI #1.
Вот еще один простой пример, как использовать API Connector, на этот раз с пользой =)

JS Chart → API → API AI

По естественному запросу заполняются поля с фильтрами, которые применимы именно к этому датасету.
Самая сложная штука была в написании промпта, чтобы ответ был идемподентен и не придумывал лишнего.

🤖 Возможно, общение с AI это в том числе новый SQL, но с нагретым от GPU воздухом =)


💡 Из интересного
- Сетка тут не из ТОПовых, а результат отличный
- Потребовалось профилирование полей, чтобы AI не придумывала мастер-данные
- Реализация заняла меньше дня суммарно