TGViewer
дата инженеретта дата инженеретта @data_engineerette · 3.43K subscribers
Post #555 2.83K
AI в OpenSource

🤓 У нас была проблема: аналитики переписывают свои скрипты с синтаксиса Trino на Spark, и в DDL они постоянно забывают поменять varchar на string. В итоге скрипты падают, только когда уже все вмержено в мастер (не круто)

Линтер при этом не отлавливал такие кейсы, потому что varchar в диалекте спарка тоже существует, но с указанием длины: varchar(10)

🤔 Я покопалась в коде линтера, нашла проблему и завела issue на гитхабе

Через 2 недели приходит отбивка, что все сделано. Я смотрю в PR: Copilot внес правки, Greptile все проревьюил🔥🔥

У кого так же в проектах настроено?

PR: https://github.com/sqlfluff/sqlfluff/pull/7459

@data_engineerette
GitHub SparkSQL: Enforce mandatory length for VARCHAR/CHAR/CHARACTER by Copilot · Pull Request #7459 · sqlfluff/sqlfluff SparkSQL requires VARCHAR, CHAR, and CHARACTER types to specify a length parameter, but SQLFluff accepted them without length, causing SQL to pass linting but fail at execution with DATATYPE_MISSIN...
  • 👍 15
  • 😭 3
More from @data_engineerette
  1. Sep 24, 2026Исследование data-people Тут ребята из DevCrowd запустили ежегодное исследование специалис…
  2. Sep 22, 20265 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и…
  3. Sep 15, 2026Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3 качества важны дл…
  4. Sep 12, 2026Mermaid-диаграммы Наконец-то дошли руки поковыряться в mermaid-диаграммах, это что за имба…
  5. Sep 2, 2026Iceberg — это внезапный бум или планомерная подготовка? Заметили, как с определенного моме…
  6. Aug 25, 2026Как забытый ON CLUSTER поставил меня в тупик Я создала таблицу ReplicatedReplacingMergeTre…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →