TGViewer
StarRocks and modern data stack StarRocks and modern data stack @modern_data_stack · 541 subscribers
Post #118 701
Apache Livy & Spark 3.5.7

Вокруг все так любят постгрес, так любят, что в итоге фикс корректной работы с timestamp через JDBC есть только в спарке 3.5.0. Все в костылях, но любовь до гроба :)

А чтобы обновиться до этой ветки на нашем ванильном хадупе надо обновить Livy с версии 0.7 до... Надо сказать, что мы пересобирали старую версию для поддержки нашего 3 спарка. Но очередной обновление скалы все сломало, не считая заодно проблем с поддержкой python >3.8. Поэтому воодушевившись вот этим ишью я пошел искать свежий релиз, а его нет :)
Два топа, 3 прихлопа, сборка 0.9 бранча на маке м3 (надо апнуть версию maven-jar-plugin и maven-assembly-plugin >3.0.0) - и вот желаемый архив на руках. Не забыв поправить забытую кавычку в башнике для запуска в bin/, все завелось с полпинка. В качестве награды в новой версии добавили LIVY_CLASSPATH, куда наконец-то можно пробросить класпас хадупа вместо копирования жарок внутрь.

В целом приключение на пару дней. Надо подметить, что вот эти старые сервисы из наследия HDP сейчас выживают в основном за счет ребят из Китая - посмотрите контрибьюторов ливи, цеппелина. Нормальные стабильные сервисы, в которых нет и не будет уже суперфич, но пользоваться удобно.
Ну и глядя на такого рода баги в спарке для самой популярной бд - не так все плохо в СР, примерно как у всех :)
  • 🔥 4
More from @modern_data_stack
  1. Sep 22, 2026За долгом всегда придут Где-то в прошлой до-ии жизни я написал негативную статью на хабре…
  2. Sep 2, 2026DE, AI и та самая демократизация данных Мне кажется, что 80% успеха команд данных в соврем…
  3. Aug 25, 2026Выбор CDC сделан Нам очень хотелось сделать CDC из наших MySQL в Hadoop вместо StarRocks:…
  4. Aug 3, 2026Какой-то микс нынче в дата мире происходит Сократят ли кожаных в пользу AI? Я тут погуглил…
  5. Jul 1, 2026DBX Так ли уж много надо для счастья на сегодняшний день? Полный бак бензина, хороший вели…
  6. Jun 30, 2026Обновки подъехали Абсолютно случайно в ln увидел, что в SQLMesh завезли поддержку StarRock…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →