一、聚合管道概述1. 什么是聚合管道聚合管道Aggregation Pipeline是 MongoDB 中用于数据处理和分析的核心机制。它由一个或多个处理文档的阶段Stage组成每个阶段对输入文档执行特定操作并将输出结果传递给管道中的下一阶段。可以把聚合管道想象成一条工厂流水线原始文档从流水线起点进入经过一道道工序阶段的加工处理最终在出口产出我们想要的统计结果。聚合管道通过db.collection.aggregate()方法执行不会修改集合中的原始文档除非管道中包含$merge或$out阶段。2. 聚合管道的核心价值多阶段组合可将过滤、分组、排序、投影等操作串联成复杂的数据处理流程声明式语法比 MapReduce 更简洁、性能更优内建优化MongoDB 会对管道进行优化阶段Optimization Phase尝试重塑管道以提升性能3. 聚合管道流程图二、$group 阶段详解1. $group 的定义与作用$group阶段根据指定的分组键Group Key将具有相同字段或表达式的多个文档合并为单个文档每个唯一的分组键对应一条输出结果。2. 语法结构{$group:{_id:expression,// 分组键必填field1:{accumulator1:expression1},// 累加器字段...}}字段说明字段是否必填说明_id必填指定分组键。可以是字段路径如$product、表达式或常量值field可选使用累加器运算符计算出的字段如总和、平均值等3. 关键特性1_id: null—— 全集合分组当_id指定为null或任何其他常量值时$group阶段会将所有输入文档作为一个整体进行聚合返回单个文档。2$group 不排序输出$group不会对其输出文档进行排序。若需要按特定顺序输出必须在$group之后添加$sort阶段。3$group 是阻塞阶段$group是一个阻塞阶段Blocking Stage意味着管道必须等待所有输入数据被检索完成后才能开始处理。对于大型数据集这可能消耗大量内存并影响性能。三、累加器Accumulator完全解析累加器用于计算可变数量输入值的聚合结果如总和、最大值、最小值等。以下是在$group阶段中最常用的累加器1. $sum —— 求和作用返回每个分组中指定字段的数值总和忽略非数值。语法{ $sum: expression }示例计算每个产品的总销售额totalRevenue:{$sum:$amount}注意$sum: 1等同于计数count操作。2. $avg —— 平均值作用返回每个分组中指定字段的数值平均值忽略非数值。语法{ $avg: expression }示例计算每个产品的平均单笔销售额averageAmount:{$avg:$amount}3. $push —— 收集为数组作用返回每个分组中指定字段的所有值组成的数组。语法{ $push: expression }示例收集每个产品的所有销售金额allAmounts:{$push:$amount}4. $first 与 $last —— 首/末值作用返回每个分组中第一个/最后一个文档的指定字段值。语法{ $first: expression }/{ $last: expression }重要限制只有当文档处于明确定义的顺序时$first和$last才有意义。通常需要配合$sort阶段使用。5. 其他常用累加器累加器说明$max返回每个分组中的最大值$min返回每个分组中的最小值$addToSet返回每个分组中唯一值组成的数组去重数组元素顺序未定义6. 累加器速查表累加器返回类型忽略非数值去重$sum数值✅❌$avg数值✅❌$push数组❌❌$addToSet数组唯一值❌✅$first任意❌❌$last任意❌❌$max任意❌❌$min任意❌❌四、实战案例销售数据聚合分析1. 数据准备假设有一个sales集合每条记录包含以下字段{product:Laptop,// 产品名称amount:1299.99,// 销售金额date:ISODate(2025-03-15T10:30:00Z)// 销售日期}插入测试数据db.sales.insertMany([{product:Laptop,amount:1299.99,date:ISODate(2025-03-15)},{product:Laptop,amount:1499.99,date:ISODate(2025-06-20)},{product:Laptop,amount:999.99,date:ISODate(2025-09-10)},{product:Mouse,amount:29.99,date:ISODate(2025-01-05)},{product:Mouse,amount:39.99,date:ISODate(2025-04-12)},{product:Mouse,amount:24.99,date:ISODate(2025-07-08)},{product:Mouse,amount:34.99,date:ISODate(2025-10-25)},{product:Keyboard,amount:89.99,date:ISODate(2025-02-14)},{product:Keyboard,amount:79.99,date:ISODate(2025-05-30)},{product:Keyboard,amount:99.99,date:ISODate(2025-08-19)},{product:Monitor,amount:299.99,date:ISODate(2024-12-01)},// 去年数据{product:Monitor,amount:349.99,date:ISODate(2024-11-15)}// 去年数据]);2. 需求分析我们需要完成以下聚合分析过滤仅统计去年假设当前为 2026 年去年为 2025 年的销售数据分组按product字段分组计算计算每个产品的总销售额和平均单笔销售额排序按总销售额降序排列3. 聚合查询语句db.sales.aggregate([// 阶段1$match —— 过滤去年数据{$match:{date:{$gte:ISODate(2025-01-01T00:00:00Z),$lt:ISODate(2026-01-01T00:00:00Z)}}},// 阶段2$group —— 按产品分组并计算聚合值{$group:{_id:$product,// 分组键产品名称totalSales:{$sum:$amount},// 总销售额averageAmount:{$avg:$amount},// 平均单额salesCount:{$sum:1},// 销售笔数allAmounts:{$push:$amount}// 所有金额数组可选}},// 阶段3$sort —— 按总销售额降序排列{$sort:{totalSales:-1}}]);4. 执行结果[{_id:Laptop,totalSales:3799.97,averageAmount:1266.6566666666667,salesCount:3,allAmounts:[1299.99,1499.99,999.99]},{_id:Mouse,totalSales:129.96,averageAmount:32.49,salesCount:4,allAmounts:[29.99,39.99,24.99,34.99]},{_id:Keyboard,totalSales:269.97,averageAmount:89.99,salesCount:3,allAmounts:[89.99,79.99,99.99]}]注意Monitor产品的两条记录2024年12月和11月因不满足$match的日期条件而被过滤掉不会出现在结果中。五、性能优化与内存限制1. 内存限制$group阶段有100 MB的 RAM 限制。默认情况下如果阶段超过此限制MongoDB 会返回错误。2. 启用磁盘溢出对于大型数据集可以通过设置allowDiskUse: true允许$group操作将临时文件写入磁盘db.sales.aggregate([// ... 管道阶段],{allowDiskUse:true});⚠️注意启用allowDiskUse会降低性能应作为最后手段使用。从 MongoDB 6.0 开始allowDiskUse的默认行为有所变化。3. 性能最佳实践1将 $match 放在管道最前面$match应尽可能放在管道的最前面以便利用索引减少进入后续阶段的文档数量。// ✅ 推荐先过滤再分组db.sales.aggregate([{$match:{date:{$gte:startDate}}},// 利用索引{$group:{_id:$product,total:{$sum:$amount}}}]);// ❌ 不推荐先分组再过滤无法利用索引db.sales.aggregate([{$group:{_id:$product,total:{$sum:$amount}}},{$match:{...}}]);2为 $match 的字段创建索引确保$match中使用的字段有合适的索引。db.sales.createIndex({date:1});3减少 $group 前的文档数量在$group之前使用$match、$project等阶段减少输入文档数量。4注意 $group 不利用索引$group本身不直接利用索引进行分组操作。性能优化应聚焦于减少进入$group阶段的数据量。4. 性能优化决策树六、常见面试题面试题 1$group 中的_id: null有什么作用答案当$group的_id指定为null或任何其他常量值时$group阶段会将所有输入文档作为一个整体进行聚合最终返回单个文档。示例计算整个集合的总销售额和平均单额db.sales.aggregate([{$group:{_id:null,totalRevenue:{$sum:$amount},avgAmount:{$avg:$amount},totalCount:{$sum:1}}}]);// 输出[{_id:null,totalRevenue:4849.88,avgAmount:404.1566666666667,totalCount:12}]适用场景需要全局统计如全表汇总时使用。面试题 2$group 和 MapReduce 有什么区别答案对比维度聚合框架Aggregation PipelineMapReduce语法声明式使用管道阶段组合需要编写 JavaScript 函数map reduce性能更高经过内建优化较低需解释执行 JavaScript易用性更简洁直观复杂、学习曲线陡峭适用场景绝大多数聚合需求复杂的自定义聚合逻辑聚合框架使用声明式语法性能更好MapReduce 需要编写 JavaScript 函数灵活性更高但性能较差。面试题 3$first 和 $last 累加器的使用有什么注意事项答案$first和$last只有在文档处于明确定义的顺序时才有意义。如果未对输入文档进行排序$first和$last返回的结果是不可预测的。正确的做法是在$group之前使用$sort阶段明确定义顺序db.sales.aggregate([{$sort:{date:1}},// 按日期升序排列{$group:{_id:$product,firstSale:{$first:$amount},// 最早销售的金额lastSale:{$last:$amount}// 最晚销售的金额}}]);面试题 4$group 阶段的内存限制是多少如何解决超限问题答案$group阶段有100 MB的 RAM 限制。如果超过此限制MongoDB 默认会返回错误。解决方案启用磁盘溢出在aggregate()方法中设置allowDiskUse: true允许将临时文件写入磁盘db.collection.aggregate([...],{allowDiskUse:true});优化管道设计在$group之前尽可能使用$match过滤数据减少进入$group阶段的文档数量拆分聚合将复杂聚合拆分为多个管道或使用$project提前精简数据面试题 5$push 和 $addToSet 有什么区别答案特性$push$addToSet返回内容所有值的数组含重复唯一值的数组去重顺序保持输入顺序未定义数组元素顺序不确定适用场景需要保留所有记录需要去重统计示例对比// 假设某分组有金额: [100, 200, 100, 300]{$push:$amount}// 返回 [100, 200, 100, 300]{$addToSet:$amount}// 返回 [100, 200, 300]顺序不定在实际工作中建议始终遵循“先过滤、后分组、再排序”的管道设计原则充分利用索引和管道优化机制写出高效、可维护的聚合查询。