⚡️ Polars обработал около 1,5 ТБ биржевых данных чуть больше чем за 3 минуты
Компания BMLL Technologies, специализирующаяся на сборе и нормализации исторических биржевых данных, показала возможности аналитической библиотеки Polars при обработке крупных массивов информации о торгах.
Polars – открытая библиотека для работы с табличными данными, ядро которой написано на языке Rust. В отличие от широко используемой Python-библиотеки pandas, Polars изначально рассчитан на параллельную обработку данных на нескольких ядрах процессора и выполнение оптимизированных запросов над крупными наборами информации.
Сама BMLL Technologies была создана на базе лабораторий машинного обучения Кембриджского университета. Компания собирает данные более чем со 100 торговых площадок и приводит их к единому формату с точностью временных меток до наносекунд.
📌 Наиболее крупный тест включал около 1,5 ТБ данных Шанхайской фондовой биржи – примерно 268 ГБ информации о совершённых сделках и 1,2 ТБ данных о заявках на покупку и продажу, включая их цены и объёмы.
Polars выполнил полный цикл обработки – чтение данных, сопоставление сделок с состоянием биржевого стакана в момент их совершения, классификацию и итоговую агрегацию – за 3 минуты 2 секунды.
Для одного торгового дня объёмом около 94 ГБ система обработала 54,9 млн сделок и 136,4 млн записей биржевого стакана примерно за 36 секунд.
🔻 Одной из ключевых операций стал as-of join – временное сопоставление данных.
На бирже сделка и изменение котировки практически никогда не имеют абсолютно одинаковую временную метку. Поэтому системе необходимо для каждой из десятков миллионов сделок определить, каким было последнее известное состояние рынка непосредственно перед её совершением. В Polars такая операция поддерживается на уровне самого движка.
Дополнительное ускорение обеспечивает отложенное выполнение запросов (lazy execution). Система сначала получает всю последовательность необходимых действий, после чего оптимизирует её: заранее исключает ненужные столбцы и строки, меняет порядок отдельных операций и только затем начинает фактическую обработку данных.
Ещё одна особенность Polars – автоматическое использование нескольких процессорных ядер. Пользователю не требуется самостоятельно разбивать таблицу на части и организовывать параллельные вычисления.
Для сравнения, загрузка одного дня торгов по более чем 11 тыс. американских ценных бумаг заняла в Polars 4,3 секунды, тогда как в pandas – около 3,5 минуты. В этом конкретном тесте разница составила примерно 48 раз.
Все испытания проводились на одном сервере с 192 процессорными ядрами и 1,5 ТБ оперативной памяти.
🔺 Практический смысл такого подхода – возможность обрабатывать весь доступный массив данных, а не заранее сокращённую выборку. Это актуально не только для финансового анализа, но и для информационно-аналитической работы, где приходится одновременно обрабатывать большие объёмы сообщений, документов, журналов событий, телеметрии и других структурированных данных.
Polars позволяет быстрее выполнять фильтрацию, сопоставление записей по времени, объединение нескольких массивов, поиск взаимосвязей и повторные расчёты на десятках и сотнях миллионов записей. Это особенно полезно при построении суточных сводок, анализе динамики событий, сопоставлении сообщений из разных источников и выявлении повторяющихся признаков без предварительного сокращения исходного массива.
Источник: Polars / BMLL Technologies