Python中如何将大型JSON文件拆分为多个较小的文件?
您可以使用Python内置的JSON模块和文件操作函数来将大型JSON文件拆分为多个较小的文件。具体来说,您可以使用json.load()函数读取JSON文件内容,然后使用循环遍历JSON数据,并使用json.dump()函数将每个JSON对象写入新的文件中。
以下是一个示例代码,将一个包含多个JSON对象的大型JSON文件按照指定的对象数量拆分成多个文件:
import json # 打开要拆分的文件 with open('example.json', 'r') as f: # 设置每个文件包含的JSON对象数量 objects_per_file = 100 # 计数器,用于给新文件命名 file_count = 1 # 读取文件内容 content = json.load(f) # 循环拆分文件 for i in range(0, len(content), objects_per_file): # 新文件名 new_file_name = f'example_{file_count}.json' # 打开新文件 with open(new_file_name, 'w') as new_file: # 写入内容 json.dump(content[i:i+objects_per_file], new_file) # 更新计数器 file_count += 1
在这个示例中,我们首先使用open()函数打开名为example.json的文件,并设置每个文件包含100个JSON对象。然后,我们使用json.load()函数读取JSON文件内容,并使用循环遍历JSON数据。在循环中,我们首先使用计数器file_count生成新文件名,然后使用open()函数以写入模式打开新文件。最后,我们使用json.dump()函数将指定数量的JSON对象写入新文件中,并更新计数器file_count。最终,我们得到了多个拆分后的JSON文件。
相关文章