Я @halltape_data
Showing posts older than #834 · Back to latest
— Почему, мистер Андерсон, почему? Во имя чего? Что вы делаете? Зачем, зачем встаете? Зачем продолжаете драться? Неужели вы верите в какую-то миссию, или вам просто страшно погибать? Так в чем же миссия, может быть, вы откроете? Это свобода, правда, может быть, мир, или вы боретесь за любовь? Иллюзии, мистер Андерсон, причуды восприятия. Хрупкие логические теории слабого человека, который отчаянно пытается оправдать свое существование — бесцельное и бессмысленное! Но они, мистер Андерсон, как и Матрица, столь же искусственны. Только человек может выдумать скучное и безжизненное понятие — «BootCamp»! Вам пора это увидеть, мистер Андерсон, увидеть и понять! Вы не можете победить, продолжать борьбу бессмысленно. Почему, мистер Андерсон, почему вы упорствуете?
— Потому что это мой выбор.
Forwarded from Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных
df_pg = spark.read.format("jdbc") Потом отдельно df_ch = spark.read.format("jdbc")SELECT u.name, o.order_id
FROM postgres.public.users u
JOIN clickhouse.sales.orders o
ON u.id = o.user_id;
бутылки водки не разберешься
В ЛинкеДЫНЕ увидел интересный пост. Решил тут его запостить с указанием автора.
А ведь реально, зачем иногда запускать спарк, когда можно все крутить другими инструментами, менее требовательными к настройке и железу.
⚡️ Data Engineer 2026: Хватит использовать кувалду для гвоздей. Почему Spark часто избыточен.
"Spark или Polars?".
Решил провести тест на реальных данных — 1 ТБ логов (соединения, аггрегации, фильтры).
Условия:
Spark: Кластер EMR (3 ноды, суммарно 48 ядер, 128 ГБ RAM). Время включает поднятие сессий и настройку.
Polars + DuckDB: Ноутбук с 64 ГБ RAM. Никакого кластера.
Результаты меня самого удивили:
Spark (кластер): ~20 минут чистой обработки + 5 минут на инициализацию. Итог: 25 минут.
Polars + DuckDB (на компе):
Обработка пачками по 100 ГБ: 7 минут (и можно параллелить).
Однопроходная обработка всего 1 ТБ: 11 минут.
Почему так? Данные не врут, и они совпадают с последними исследованиями :
Скорость: На данных до 1-2 ТБ современные векторизованные движки (Polars, DuckDB) просто быстрее JVM-стека Spark из-за отсутствия накладных расходов на сериализацию и shuffle .
Память: Polars в ленивом режиме реально жрет на 60-70% меньше памяти, чем Spark на аналогичных операциях. Это доказано в тестах MDPI . Данные не хранятся в памяти, а текут через процесс (streaming).
Удобство: Не надо настраивать кластер. Просто pip install.
Но давайте без хайпа. Где правда?
✅ Polars + DuckDB идеальны, когда:
Ваши данные "помещаются" на один хороший сервер (до 5-10 ТБ).
Вы ненавидите возню с конфигами Spark.
У вас 80% ETL-задач — фильтрация, аггрегация, джойны (но не 100-столовые монстры).
❌ Spark все еще рулит, если:
У вас петабайты и тысячи ядер.
Нужна единая платформа с глобальным каталогом данных (Unity Catalog и т.п.).
Требуется сложный стриминг exactly-once, который уже обкатан годами .
Мой вывод: Для 90% дата-инженеров, работающих с "терабайтами", Spark — это оверкилл. Мы платим за сложность инфраструктуры там, где можно обойтись одним мощным инстансом и умным кодом.
В итоге вы сидите и не понимаете, почему вам НИКТО НЕ ПИШЕТ. Вы же не полковник - тут только милениалы поймут.
Есть ещё нюансы:
— HH подсвечивает резюме с ключевыми достижениями
— Показывает апрувнутые достижения на госуслугах
— Ну и еще куча всего, где надо прям тестировать