There will be no singularity

Месяц назад в великий и ужасный Lukas Eder добавил в JOOQ поддержку Snowflake (через 1.5 года после создания issue).

JOOQ един в двух лицах — билдер SQL-запросов для java и AST-парсер для разных SQL диалектов.

Думаю, что все знают как я отношусь к ORM в целом и к билдерам запросов в частности.

Ну а AST-парсер просто мой прямой конкурент :)

И конечно же, как любая low-code технология, это поползло и в другие языки. В go, например.

Некоторое время назад я тестировал его парсер для postgreSQL, и, конечно же, все сломал :)

Пришло время протестировать Snowflake.

У меня накопилось около 7500 тестов для моего AST-парсера и я решил выборочно проверить несколько из них в онлайн демке JOOQ.

Угадайте, сколько тестовых запросов из моего набора спарсились без ошибок?

PS: подписывайтесь на мою коллекцию опенсорц тулзин для SQL на github.

У всех так пригорело от поста Тонского (см выше), что Никиту в комментах почти распяли, а сам он даже начал отползать с извинениями.

Между тем Кортланд Аллен недавно позвал в свой подкаст "Indie hackers" Андрея Азимова - живущего на Бали парня, который кодить почти не умел и продукты делал настолько "на коленке", что волосы шевелятся.

Когда он писал свою тулзу "year in progress" - Андрюха не знал, как сделать в макоси прогресс-бар. Поэтому он нарисовал сто (!) картинок от 1% до 100% и написал сто if-ов "if (x==1) нарисовать 1.gif"

(это буквальная цитата из его рассказа, я так ржал, что почти врезался в человека на пробежке)

От такого кода у любого уважающего себя синьора, конечно, вытекут глаза. Андрей, между тем, зарабатывает $10к в месяц и сам над собой хохочет.

Когда он строил какой-то очередной сайт-поделку, он не умел в базы данных. Поэтому засунул все в google sheets и за пару дней наговнокодил скрипт (на php конечно) который забирает контент по API и пихает в HTML. После чего почесал репу и создал из этого красивый продукт https://www.sheet2site.com/

(на этом месте вытекли глаза не только у сеньоров, а вообще у всех продактов/стартаперов)

Зато все маркетологи мира очень ему благодарны. Поправил табличку - сайт изменился. Никаких тебе логинов, вордпрессов, CMS-ок или даже маркдауна с джемстеком и тейлвиндом с деплоем через git. Просто дай права на гугл-доку, выбери шаблон - и вот вам ваш готовый сайт. Свободная касса.

PS. подкаст тут (на английском), там сверху ссылки itunes/spotify и тд

Сингулярности не будет. Но будет много богатых сайто-поделочников.
Лишь бы такой же фигни с медициной и фермерством не случилось.....

​SQL-WTF SQL-TIL snowflake edition

Такое ощущение, что в Snowflake сами не знают что умеет их база.

Недавно выяснилось, что при создании таблиц поддерживается описание типов из ORACLE:

VARCHAR2(100 BYTE),
NVARCHAR2(80)

В документации, конечно, тишина.

Сейчас понадобилось сделать демку с использованием MASKING POLICY. Решил освежить знания по документации. Листаю список ограничений: ... не применяется к виртуальным колонкам ...

WAT? Виртуальные колонки? Откуда в Snowflake виртуальные колонки?
Есть что-нибудь в документации? Есть, но про EXTERNAL TABLE.

А давайте попробуем...

create table vc_test (
  key       number,
  check_sum number as HASH(key)
);

insert into vc_test(key) values (1);
select * from vc_test;

-- 1,-4730168494964875235

oO
Работает!

Так, абажжи...

create table vc_test2(
  key       number,
  check_sum number as (SELECT key FROM vc_test) DEFAULT 1 NOT NULL
);
insert into vc_test2(key) values (1);

И это работает!

А ну-ка...

select * from vc_test2;

-- [42000][1003] SQL compilation error: syntax error line 1 at position 1 unexpected 'SELECT'. syntax error line 1 at position 31 unexpected 'GENERATOR'.

Чивооо? GENERATOR?

SELECT GET_DDL('table', 'VC_TEST2');

-- result:
create or replace TABLE VC_TEST2 (
  KEY NUMBER(38,0),
  CHECK_SUM NUMBER(38,0) AS ((SELECT 1 AS "KEY" FROM TABLE (GENERATOR)ROWCOUNT => 1, rowCount => 1) GENERATOR)) NOT NULL DEFAULT 1
);

Directed by Frank Slootman

Тейкэвей:
- в snowflake существуют виртуальные колонки для обычных таблиц
- при объявлении засунуть в них можно что угодно, но работать будет не все :)
- значения в колонках не мемоизируются
- с виртуальными колонками многое что нельзя, но несмотря на предыдущий пункт, кластеризацию все-таки можно

Перефразируя классика:
Если в 2021 вы еще не в облаке, то что-то с вами не так и вообще позорище... :)

Событие пройдет сегодня-завтра, поэтому есть шанс про него не забыть (а не то что pgday).

☁️ Сегодня, в 18:00 (GMT+3), AWS комьюнити приглашает на All about AWS 2021 — бесплатный онлайн ивент, посвященный клауд миграции и её стратегиям ☁️

📍Язык ивента: украинский и русский

15 июля пройдут панельные дискуссии, где спикеры из AWS и SoftServe будут говорить о:

— миграции в клауд, как ее разумно планировать, чтобы сэкономить время и уменьшить расходы;
— почему бизнес решает оставаться в дата центрах.

👉 Регистрация

​Чят, пожалуйста, помогите с кастдевом!

Мы делаем тулзу для поиска и анализа связей в структурах данных в аналитических базах данных.
Есть несколько гипотез, которые хочется протестировать.

Вендор базы значения не имеет, думаю, что проблемы у всех приблизительно одинаковые.

Есть большая потребность в теплом интро к Data Lead, Chief Data Officier, VP of Data Engineering - с любым техническим или нетехническим специалистам верхних уровней, связанных с датой.

Интересуют все области - и дата инжиниринга и дата саентисты. Может еще какие-то есть? :)

Не надо пугаться, на данный момент мы НИЧЕГО НЕ ПРОДАЕМ. Основная задача - проверить попадаем мы ли мы в боль и насколько сильно болит.
Поэтому не стесняйтесь сдавать своих коллег и коллег коллег :)

Языки - RU/EN.

Пишите @antonrevyako или в чат

Оказывается сегодня бесплатная конфа по #postgres

Список докладов https://pgday.ru/ru/2021/papers

Почему я не написал про pgday? Правильно, потому что никто не прислал письма с напоминанием...

​Разговорились с @oleg_log и по мотивам upstash.com родилась идея стартапа:

- Берем sqlite и redis
- Соединяем одно с другим, наружу выставляем sqlite
- Идем в YC как sql over redis as a service
...
- PROFIT!

Сами мы это, конечно, делать не будем, но вдруг вам захочется странного...

В чатике срач про дефолты. Люблю такое :)

PS: читать начиная с закрепа

​Я ужасно ненавижу дефолты.
В любых проявлениях.

Но в аргументах методов особенно.
Я уже бомбил об этом здесь

Если коротко, то это write only фича. IDE тебе подскажет значения дефолтов, когда ты пишешь код.
А когда читаешь?
А если читаешь не в IDE, а, например, ревьюишь код в гитхабе(лабе)?

Все константы должны быть в конфиге и явно передаваться везде, где хочется воткнуть дефолт.

А что я об этом вспомнил?
У Никиты вышел пост про сборщики в java-мире.

Я застал и ant и groovy.
Возможно, это и было основной причиной того, что я никогда больше не хочу связываться с java.

Хотя, кого я обманываю... Конечно же, не только это.

Так вот, Никиту бомбит с того, что джависты взялись писать сборщики на groovy. И там считается нормальным напихать дефолты в любую дырку...

Есть некоторые, простигосподи, CTO с 10k подписчиков в твиттере, которые не видят в этом никакой проблемы.

Предлагаю всем включить вопрос про дефолты в culture fit interview... :)

Короткий тред:

https://twitter.com/adrien_nayrat/status/1411988614913929216

Все, говорит, сломать смогли. Кроме postgresql...

На осенний Highload тоже нужны доклады про Snowflake.
В отличие от JUG они делают вид, что проблем с пандемией нет и все будут выступать на площадке, in the flesh.

Btw, вы мне очень помогаете определиться с приоритетами.
Идей по темам докладов: 0
Желающих отправить меня в вебкам: 70

Пожалуй, не буду я тратить время на подготовку к конференциям...

Snowflake пролежал почти 2 часа. Неудачно накатили новую версию.

Пользуясь случаем, апну историю о том, как я много лет назад сломал биллинг сотового оператора :)

​Snowflake прилег во ВСЕХ регионах и лежит уже больше часа.

В чатиках (RU, EN) говорят, что кое-где работает, но status page горит алым пламенем...

А я еще думаю: что у меня тесты падают?..

ClickHouse Object Storage Performance: MinIO vs. AWS S3

https://altinity.com/blog/clickhouse-object-storage-performance-minio-vs-aws-s3

#altinity #clickhouse #s3 #minio

Прошлогодняя смарт дата:

https://youtube.com/playlist?list=PLeN_80lmoMY1ugdDLg2mWht5eQDq6CoNQ

👀 Github показала Copilot, который они сделали совместно с OpenAI. В общем эта штука работает как TabNine, генерируя автоматически код на основе контекста. Умеет и в тесты и во все на свете.

Все это уже который раз напоминает шутку:
- За что тебе платят деньги? Ты же только копируешь все со StackOverflow!
- Да, но я знаю, какой код нужно копировать.

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров

Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции! В этом году SmartData пройдет в гибридном формате: онлайн+офлайн.

Темы, которые ждут больше всего:
– Стриминг;
– СУБД и хранилища для больших данных;
– Архитектура DWH;
– Data governance;
–Технологии построения ETL;
– Оркестрация и MLOps.

Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.

Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях.

Подать заявку и узнать подробности можно на https://bit.ly/2SuaaOL

Вопросы присылайте на почту program@smartdataconf.ru