Яндекс открыл исходный код своей главной платформы для работы с большими данными — YTsaurus

С ее помощью строится поисковый индекс, распределяется нагрузка между суперкомпьютерами Яндекса, а беспилотные автомобили обрабатывают данные о поездках и улучшают алгоритмы. Платформа умеет работать с эксабайтами данных и масштабироваться до десятков тысяч серверов. MapReduce, key-value хранилище, свой язык запросов на SQL, интеграция с ClickHouse и Apache Spark — используйте возможности YTsaurus и дорабатывайте платформу под себя. Подробнее на Хабр.

https://github.com/YTsaurus/YTsaurus
вакансии YTsaurus