TGViewer
Я – Дата Инженер | Евгений Виндюков Я – Дата Инженер | Евгений Виндюков @halltape_data · 5.91K subscribers
Post #911 881
Вышла лаба от @rzv_de про CDC конвейер из PostgreSQL через Debezium и Kafka Connect в S3!

Как и на других его стендах, доступ к инфраструктуре, UI и материалам в одном окне браузера. Алексей построил лабу по сценарию "что может сломаться в интеграции и как это чинить". После тренировки сможете более уверенно внедрять и обслуживать change data capture интеграции на работе.

Какой опыт получите в процессе
- Составите конфиг коннекторов, в которых на опыте поймёте, зачем нужна каждая строчка
- Зарегистрируете source- и sink-коннекторы через REST API Kafka Connect
- Пройдёте первичную загрузку 20 000 заказов и перейдёте к живому потоку данных с операциями I/U/D
- В процессе несколько раз обновите конфиг коннектора, проследите за результатом изменений "на живую"
- Научитесь ориентироваться в формате сообщений внутри топика
- Попереключаете живой поток на разные форматы выгрузки в S3, JSONL и Parquet
- Научитесь управлять объёмом и количеством файлов на выходе
- Проследите, что и как сломается при остановке и удалении различных частей интеграции
- Научитесь чинить эти поломки

У каждого участника своя выделенная инфраструктура, экспериментируйте свободно! В конце вас ждёт сводная таблица с рекомендациями по диагностике и решению частых проблем.

Кому подойдёт
Нужен базовый SQL и опыт с СУБД, например Postgres. Опыт с Kafka не обязателен, есть необходимый минимум теории. Лаба пригодится, если на работе предстоит внедрять CDC, собираетесь переходить на проект с такой интеграцией. Или интересно разобраться, что за зверь этот CDC такой 😁

Прохождение займёт от 4 до 6 часов, доступ открыт 30 дней, материалы останутся в PDF.

Забирайте лабу со скидкой 10%

p.s. Ещё там есть лабы по Lakehouse (Iceberg, Trino, S3) и разбор ошибок при переходе на шардированный ClickHouse. Рекомендую для подготовки к работе с современным стеком!
  • 👍 6
  • ❤ 5
  • 🔥 3
More from @halltape_data
  1. Oct 1, 202610 вопросов по SQL для дата инженера https://www.threads.com/share/_vojZtIpk/ Этот пост на…
  2. Sep 27, 2026Собес на 320к на руки на Дата Инженера! ▶️ https://youtu.be/lZKqJ978e1I Выложил собес. Все…
  3. Sep 26, 2026Накрутчики! Написал в Threads пост о том, как расти в ЗП в ДЕ. В комменты пришел человек,…
  4. Sep 25, 2026Это последний поток BootCamp. ВСЁ. После Нового года мы будем поднимать цену. Поэтому нояб…
  5. Sep 23, 2026Если тебе до 25 и ты уже в IT В промежутке между 17 и 23 годами я учился на инженера в уни…
  6. Sep 20, 2026Собес на Дата Инженера + Лайвкодинг! (Middle) ▶️ https://youtu.be/fypWIMVBKxg На самом дел…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →