尝试加载5 GB文本文件时出现内存错误
问题描述
我要读取以文本格式存储在5 GB文件中的数据。当我尝试使用以下代码读取文件内容时:
file = open('../data/entries_en.txt', 'r')
data = file.readlines()
发生错误:
data=file.readines()
内存错误
我的笔记本电脑有8 GB内存,当我想运行程序时,至少有4 GB是空的。但是当我监控系统性能时,当python使用大约1.5 GB的内存时,会出现这个错误。我使用的是python2.7,但如果有问题,请告诉我2.x和3.x的解决方案 要阅读此文件,我应该做些什么?
解决方案
处理大文件的最佳方式是-
with open('../file.txt', 'r') as f:
for line in f:
# do stuff
readlines()
会出错,因为您试图将过大的文件直接加载到内存中。处理完文件后,上面的代码将自动关闭该文件。
相关文章