Mongodb 删除重复数据

最新推荐文章于 2024-07-25 09:02:32 发布

原创最新推荐文章于 2024-07-25 09:02:32 发布 · 309 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

本文详细介绍了使用MongoDB进行数据去重的方法。通过聚合管道，包括$group,$match和$addToSet等操作符，实现对特定字段的重复数据检测与删除。特别关注了如何保留一条记录，避免全部数据被误删。

mongo数据库.png

db.meituan_cookie_shop_data.aggregate([
    {
        $group: { _id: {shopName: '$shopName',},count: {$sum: 1},dups: {$addToSet: '$_id'}}
    },
    {
        $match: {count: {$gt: 1}}
    }
]).forEach(function(doc){
    doc.dups.shift();
    db.meituan_cookie_shop_data.remove({_id: {$in: doc.dups}});
})

Snipaste_2019-09-06_11-18-55.png

1.根据userName和age分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段
2.使用$match匹配数量大于1的数据
3.doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据
4.使用forEach循环根据_id删除数据

凌馨儿郡主