打开大型JSON文件

问题描述

我有一个1.7 GB的JSON文件，当我尝试使用json.load()打开时，它出现内存错误，如何在python中读取该JSON文件？

我的JSON文件是一个包含特定键的大型对象数组。

编辑：如果它只是一个很大的对象数组，并且事先知道对象的结构，那么就不需要使用工具了，我们可以逐行读取它。一行将只包含数组的一个元素。我注意到这就是存储json文件的方式，对我来说，它的工作方式就是：

>>>for line in open('file.json','r').readline():
...    do something with(line) 

JSON

您需要一个像yajl这样的增量推荐答案解析器和它的一个Python绑定。增量解析器从输入读取尽可能少的内容，并在解码有意义的内容时调用回调。例如，要仅从大型json文件中提取数字，请执行以下操作：

class ContentHandler(YajlContentHandler):
    def yajl_number(self, ctx, val):
         list_of_numbers.append(float(val))

parser = YajlParser(ContentHandler())
parser.parse(some_file)

有关详细信息，请参阅http://pykler.github.com/yajl-py/。