Python中如何将大型JSON文件拆分为多个较小的文件?

2023-03-26 00:00:00 拆分 多个 文件

您可以使用Python内置的JSON模块和文件操作函数来将大型JSON文件拆分为多个较小的文件。具体来说,您可以使用json.load()函数读取JSON文件内容,然后使用循环遍历JSON数据,并使用json.dump()函数将每个JSON对象写入新的文件中。

以下是一个示例代码,将一个包含多个JSON对象的大型JSON文件按照指定的对象数量拆分成多个文件:

import json

# 打开要拆分的文件
with open('example.json', 'r') as f:
    # 设置每个文件包含的JSON对象数量
    objects_per_file = 100
    # 计数器,用于给新文件命名
    file_count = 1
    # 读取文件内容
    content = json.load(f)
    # 循环拆分文件
    for i in range(0, len(content), objects_per_file):
        # 新文件名
        new_file_name = f'example_{file_count}.json'
        # 打开新文件
        with open(new_file_name, 'w') as new_file:
            # 写入内容
            json.dump(content[i:i+objects_per_file], new_file)
        # 更新计数器
        file_count += 1

在这个示例中,我们首先使用open()函数打开名为example.json的文件,并设置每个文件包含100个JSON对象。然后,我们使用json.load()函数读取JSON文件内容,并使用循环遍历JSON数据。在循环中,我们首先使用计数器file_count生成新文件名,然后使用open()函数以写入模式打开新文件。最后,我们使用json.dump()函数将指定数量的JSON对象写入新文件中,并更新计数器file_count。最终,我们得到了多个拆分后的JSON文件。

相关文章