🟢 Snowflake Cost Management

Активная фаза transition завершена, самые острые проблемы и вопросы решены, сломанные дашборды и интеграции исправлены.

И первое, на что хочется обратить внимание – это траты.
Пока рано делать полноценные выводы, но давайте посмотрим на факты:

— Кластер Amazon Redshift из 2 x ra3.4xlarge nodes обходился примерно в $3700 / мес. (~ $925 / нед. ~ $125 / день)

— Траты Snowflake за неделю 19 - 26 марта составляют ~ $760 (на картинке)

При этом:

— 20 марта – подготовка к transition, запуски dbtCloud jobs
— 21 марта – день, когда я полноценно переключил все нагрузки на Snowflake и делал history backfill (COPY / INSERT) + full-refreshes (повышенные траты)
— 23-24 марта – выходные
— 25 марта – пользователи начинают находить ошибки, выпускаю фиксы и делаю full-refreshes
— 26 марта – день в разгаре

Ключевые выводы:

— ✔️Однозначно, разделение запросов и пользователей (workloads) на разные Virtual Warehouses - это преимущество

— ✔️Конфигурация и настройки прямо влияют на производительность и расходы. SCALING_POLICY / SCALING_POLICY / STATEMENT_TIMEOUT_IN_SECONDS / MAX_CONCURRENCY_LEVEL / etc.

— ✔️Оптимизация становится дико интересной игрой, когда она четко привязана к метрике (💵)

— ✔️Стали доступны продвинутые инструменты Мониторинга: dbt Artifacts, Snowflake Cost Management, Resource Monitors

— ✔️Правильное расписание (scheduling) имеет значение - делай расчеты и запуски только тогда, когда это необходимо

— ✔️Выбор Warehouse size – решение уравнения с переменными время исполнения и стоимость

— ✔️Мой dbtCloud setup стал значительно проще (набор jobs и их конфигурация, на картинке)

— ✔️Явный эффект для крупных таблиц имеют Cluster keys (упорядочивание записей в micro-partitions, что-то типа индекса)

— Первая неделя использования Snowflake внушает оптимизм относительно того, что траты, возможно, будут немного меньше, чем на Redshift, при всех полученных преимуществах

Каждый из перечисленных пунктов достоин отдельной публикации и раскрытия подробностей.
⭐️ О чем хотели бы узнать детально?

Я продолжаю экспериментировать и постепенно внедрять и другие отмеченные мной Snowflake features.

🌐 @data_apps | Навигация по каналу