Чувак сжал 2,87 ГБ данных до 8,9 МБ (!) с помощью своего кастомного компрессора данных :D

Там было 21k JSON-файлов с данными о крикетных матчах, он использовал их структуру и сжал это до ~42,46 МБ

Максимум, что смог gzip, это ~53 МБ, а 7z ~45 МБ.

Потом он скомбинировал свой компрессор + 7z и ужал до 8,9 МБ

Это ЧИСТАЯ случайность, дальше сжать уже просто нельзя.

Ему пришлось почитать про энтропию Шеннона и алгоритмическое сжатие данных

Полный разбор в GitHub-репозитории 😎

👉 @PythonPortal