如何使用 Python 和 PyMongo 删除集合中的所有重复项？

2023-04-15 00:00:00 集合 重复 如何使用

要删除集合中的所有重复项，可以使用以下步骤：

  1. 连接到 MongoDB 数据库，并选择要操作的集合。
  2. 使用 PyMongo 中的 aggregate() 方法来查找所有重复项，即使用 $group 和 $match 来查找那些出现了不止一次的文档。
  3. 根据查找到的重复项，使用 PyMongo 中的 remove() 方法来删除它们。

以下是一个基于上述步骤的 Python 示例代码：

from pymongo import MongoClient

# 连接到 MongoDB 数据库
client = MongoClient()
db = client['mydatabase']
collection = db['mycollection']

# 查找所有重复项并删除它们
pipeline = [
    {"$group": {"_id": {"field1": "$field1", "field2": "$field2"},
                "unique_ids": {"$addToSet": "$_id"},
                "count": {"$sum": 1}}},
    {"$match": {"count": {"$gt": 1}}},
    {"$project": {"duplicates": {"$slice": ["$unique_ids", 1, {"$subtract": [{"$size": "$unique_ids"}, 1]}]}}}
]

results = collection.aggregate(pipeline)

for result in results:
    collection.remove({"_id": {"$in": result['duplicates']}})

在这个示例代码中，我们假设有一个叫做 mycollection 的集合，其中有两个字段 field1 和 field2。我们使用 $group 和 $match 查找了所有重复的文档，并使用 $addToSet 和 $slice 来获得重复项的 ID。最后，我们通过遍历结果并使用 remove() 方法来删除这些重复的文档。

相关文章