如何加载一个20 GB的json文件来读入 pandas ？

问题描述

我有一个19.4 GB的JSON文件。我试了很多方法来读取这个文件。例如：pandas.read_json(filename)只是使笔记本崩溃。我正在寻找以一种懒惰的方式加载文件的方法。例如，一次1 GB，然后将其转储到SQLite或new 4j数据库中以分析数据。我们将非常感谢您在这方面的任何想法。

---

解决方案

如果JSON文件的数据是逐行分隔的，则按行拆分。

# In bash, split by 1,000,000 lines per file
split -d -l 1000000 file_name.json file_part_

然后处理每个文件。

---

或使用chunksize：

df_iter = pd.read_csv(filename, chunksize = 100000, sep='
', header=None)
for df in df_iter:
    # handle the dataframe
    break