Как прочитать файл объемом 8 ГБ на Python с помощью компьютера с 2 ГБ ОЗУ?
Это решение работает для любых больших файлов.
Когда вы открываете файл, всё, что вам нужно сделать, это использовать объект файла в качестве итератора: при циклическом просмотре этого объекта, вы будете извлекать по одной строке за раз, а предыдущие строки будут удалены из памяти.
Таким образом, файл никогда не будет полностью загружен в память, и ваша обработка будет выполняться на ходу.
Post #1554
6.59K

- 👍 56
- 🍾 7
- ❤ 4
- 🏆 3
- 🎉 2