​​Изменить сохранения Spark! Часть первая: разделяй и… сортируй

Хотите узнать, как обновлять таблицы в Hadoop, содержащие сотни терабайт данных?

🔸Мы расскажем о том, как мы добились уменьшения времени обновления с десяти-двенадцати часов, до тридцати-сорока минут, а использование вычислительных ресурсов при этом было уменьшено вдвое!

🔸В ходе работы была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.

🔸Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.

🔸Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами!

Читайте статью