💾 43; Tech = Big Data inside

Мы не просто храним данные – мы живём ими. Мы знаем, как строить эффективные пайплайны, ускорять сложные запросы и обрабатывать такие объемы, которые кажутся невозможными. У нас – триллионы строк с ежедневным обновлением миллиардов из них. И всё это на Open Source, без Vendor Lock, собрано из исходников.

⚡️ Два митапа по Big Data уже позади.

📚 На последнем мы делились тем, как Spark Catalyst реально ускоряет запросы. Смотрели на все этапы оптимизации обработки данных. Где Iceberg может спасти ситуацию, если вы строите весь пайплайн на одном фреймворке.

✔️Дмитрий Вертлиб рассказал про: планировщик Catalyst, Data Source v2 и как он готовит данные, про Apache Iceberg как источник статистики о данных.
✔️Артём Подалюк показал, как мы внедряли Apache Iceberg со Spark Structured Streaming и почему «Айсберг против хаоса» – это не метафора.
✔️Александр Токарев (Яндекс) рассказал о пути внедрения Apache Spark в YTsaurus – российской Open Source-платформе, способной обрабатывать неограниченные объемы данных.

🎥 Смотрите запись митапа по Big Data:

на YouTube: https://www.youtube.com/live/pyZLVg_0xmA?si=cYHdU-wxpvkyioVZ
или ВКонтакте: https://vk.com/video-227246602_456239019

👀 Впереди новые митапы, доклады и экспертиза. Будет интересно!