toPandas тормозит на больших датасетах? Это типичная боль аналитика

А вот вам исчерпывающая инструкция, как устранить эту проблему. Выгрузка данных через консоль, обход ограничений Arrow, исправление ошибок настройки памяти — обо всем этом рассказывает Александр Ледовский — тимлид команды аналитики и DS. Он строит рекламные аукционы в Авито, так что про большие массивы данных знает как никто другой.

Так что если у вас все падает с ошибками, не мучайтесь: берите инструкцию — и вперед!