⁣Стратегия фрагментации и дефрагментации памяти в Python: управление аллокацией через pymalloc и кастомные арены под long-running сервисы

Когда сервис живёт неделями, память ведёт себя как кошка — вроде есть, но непонятно где. pymalloc дробит память на пулы (4KB) и арены (256KB), чтобы реже дёргать malloc/free, но не дефрагментирует пулы сам. Освободил блоки — они висят, пока в пуле жив хотя бы один объект. После пика нагрузки получаешь 256KB арену с 20% занятости, а RSS растёт без причины.

Диагностика: что посмотреть

Смотри sys.getpymallocstats() (собранное с флагом) или используй tracemalloc и memray. Но это диагностика, не лечение. Для прода — sys.getallocatedblocks и мониторинг RSS, чтобы понять, когда память утекает не в объекты, а во внутреннюю фрагментацию.

Разделяй данные: долгоживущие и временные

Если у тебя кеш, который висит всё время, не мешай его с временными объектами в одних аренах. Выделяй под кеш память через mmap вручную — тогда pymalloc вообще не трогает эти регионы. Пример для production:

import mmap
buf = mmap.mmap(-1, 1048576, prot=6)  # 1 MB, RW

Торгов: проигрыш в аллокации на уровне ОС, но выигрыш в предсказуемости и отсутствии фрагментации.

Ручной сброс: почему это не панацея

Удалил ссылки на временные объекты — GC сработал, pymalloc освободил блоки внутри пулов. Но пул вернётся в систему только когда он полностью пуст. Арена — когда пусты все пулы. Гарантий возврата памяти ОС нет, пока процесс жив. Типичная ошибка: ждать, что после gc.collect() RSS упадёт — не упадёт, если хоть один объект держит арену.

Экзотика для упоротых

PYTHONMALLOC=malloc отключает pymalloc, но даёт overhead на каждый мелкий объект. На Linux mallopt(M_MMAP_THRESHOLD) управляет системными вызовами. Для самых требовательных — кастомные аллокаторы через ctypes или C extension, но это edge-case для high-frequency trading.

Практический совет для long-running сервиса

Не надеяться, что Python сам вернёт память. Мониторить RSS и sys.getallocatedblocks. Проектировать логику так, чтобы можно было пересоздать пулы целиком — перезагрузить часть данных, сбросить кеш и дать аренам освободиться. pymalloc хорош, но он про скорость, не про экономию памяти подолгу.

Вывод: pymalloc оптимизирован под скорость аллокации мелких объектов, а не под долговременное удержание памяти — в long-running сервисах осознанное разделение арен и мониторинг фрагментации критичнее, чем надежда на автоматическую дефрагментацию.