1. 引言MapReduce 是 Google 提出的一种分布式计算模型用于大规模数据集的并行处理。Hadoop 实现了这一模型使其成为大数据处理的核心技术之一。本文将深入探讨 MapReduce 的工作原理包括其执行流程、核心组件及优化机制。2. MapReduce 概述MapReduce 采用分而治之的思想将大数据任务分解为多个小任务并行处理后再合并结果。其核心分为两个阶段Map映射处理输入数据生成键值对Key-Value。Reduce归约合并 Map 阶段的输出生成最终结果。MapReduce 适用于批处理任务如日志分析、数据清洗、搜索引擎索引构建等。3. MapReduce 工作流程3.1 输入分片Input Splits输入数据如 HDFS 上的文件被划分为多个分片Splits每个分片由一个 Map Task 处理。默认分片大小等于 HDFS 块大小通常 128MB 或 256MB。3.2 Map 阶段Mapper读取输入分片逐行处理数据生成中间键值对Key-Value。例如统计单词出现次数的 Map 函数// 输入(行号, hello world hello) // 输出(hello, 1), (world, 1), (hello, 1)3.3 Shuffle Sort数据混洗与排序Shuffle将相同 Key 的数据发送到同一个 Reducer。Sort在 Reduce 阶段前数据按键排序便于归约处理。3.4 Reduce 阶段Reducer接收相同 Key 的所有 Value进行聚合计算。例如单词计数 Reduce 函数// 输入(hello, [1, 1]), (world, [1]) // 输出(hello, 2), (world, 1)3.5 输出存储最终结果写入 HDFS 或其他存储系统。4. MapReduce 核心组件组件作用JobTracker管理作业调度分配任务给 TaskTrackerHadoop 1.xResourceManagerYARN 中的全局资源管理器Hadoop 2.xNodeManager管理单个节点的资源Hadoop 2.xMapper处理输入数据生成中间键值对Reducer合并 Mapper 输出生成最终结果Partitioner决定 Key 发送到哪个 Reducer默认 HashPartitionerCombiner本地 Reduce 优化减少数据传输量5. MapReduce 优化机制5.1 Combiner局部归约在 Map 阶段后先对本地数据进行聚合减少网络传输。例如单词计数中Map 端先计算(hello, 2)再发送而不是(hello, 1), (hello, 1)。5.2 数据压缩减少 Shuffle 阶段的数据传输量提高性能。5.3 推测执行Speculative Execution如果某个 Task 执行过慢集群会启动相同任务的备份取最先完成的结果。6. MapReduce 示例WordCount// Mapper public class WordCountMapper extends MapperLongWritable, Text, Text, IntWritable { public void map(LongWritable key, Text value, Context context) { String[] words value.toString().split( ); for (String word : words) { context.write(new Text(word), new IntWritable(1)); } } } // Reducer public class WordCountReducer extends ReducerText, IntWritable, Text, IntWritable { public void reduce(Text key, IterableIntWritable values, Context context) { int sum 0; for (IntWritable val : values) { sum val.get(); } context.write(key, new IntWritable(sum)); } }7. MapReduce 的局限性不适合实时计算适用于批处理。多次磁盘 I/OMap 和 Reduce 阶段数据需落盘。编程模型较底层相比 Spark、Flink 等框架。8. 总结MapReduce 通过Map映射和Reduce归约两个阶段实现分布式计算适用于海量数据的离线分析。虽然新框架如 Spark在性能上更优但 MapReduce 仍是 Hadoop 生态的核心组件理解其原理对学习大数据技术至关重要。你对 MapReduce 有什么看法欢迎在评论区讨论 mapreduce的工作原理
1. 引言MapReduce 是 Google 提出的一种分布式计算模型用于大规模数据集的并行处理。Hadoop 实现了这一模型使其成为大数据处理的核心技术之一。本文将深入探讨 MapReduce 的工作原理包括其执行流程、核心组件及优化机制。2. MapReduce 概述MapReduce 采用分而治之的思想将大数据任务分解为多个小任务并行处理后再合并结果。其核心分为两个阶段Map映射处理输入数据生成键值对Key-Value。Reduce归约合并 Map 阶段的输出生成最终结果。MapReduce 适用于批处理任务如日志分析、数据清洗、搜索引擎索引构建等。3. MapReduce 工作流程3.1 输入分片Input Splits输入数据如 HDFS 上的文件被划分为多个分片Splits每个分片由一个 Map Task 处理。默认分片大小等于 HDFS 块大小通常 128MB 或 256MB。3.2 Map 阶段Mapper读取输入分片逐行处理数据生成中间键值对Key-Value。例如统计单词出现次数的 Map 函数// 输入(行号, hello world hello) // 输出(hello, 1), (world, 1), (hello, 1)3.3 Shuffle Sort数据混洗与排序Shuffle将相同 Key 的数据发送到同一个 Reducer。Sort在 Reduce 阶段前数据按键排序便于归约处理。3.4 Reduce 阶段Reducer接收相同 Key 的所有 Value进行聚合计算。例如单词计数 Reduce 函数// 输入(hello, [1, 1]), (world, [1]) // 输出(hello, 2), (world, 1)3.5 输出存储最终结果写入 HDFS 或其他存储系统。4. MapReduce 核心组件组件作用JobTracker管理作业调度分配任务给 TaskTrackerHadoop 1.xResourceManagerYARN 中的全局资源管理器Hadoop 2.xNodeManager管理单个节点的资源Hadoop 2.xMapper处理输入数据生成中间键值对Reducer合并 Mapper 输出生成最终结果Partitioner决定 Key 发送到哪个 Reducer默认 HashPartitionerCombiner本地 Reduce 优化减少数据传输量5. MapReduce 优化机制5.1 Combiner局部归约在 Map 阶段后先对本地数据进行聚合减少网络传输。例如单词计数中Map 端先计算(hello, 2)再发送而不是(hello, 1), (hello, 1)。5.2 数据压缩减少 Shuffle 阶段的数据传输量提高性能。5.3 推测执行Speculative Execution如果某个 Task 执行过慢集群会启动相同任务的备份取最先完成的结果。6. MapReduce 示例WordCount// Mapper public class WordCountMapper extends MapperLongWritable, Text, Text, IntWritable { public void map(LongWritable key, Text value, Context context) { String[] words value.toString().split( ); for (String word : words) { context.write(new Text(word), new IntWritable(1)); } } } // Reducer public class WordCountReducer extends ReducerText, IntWritable, Text, IntWritable { public void reduce(Text key, IterableIntWritable values, Context context) { int sum 0; for (IntWritable val : values) { sum val.get(); } context.write(key, new IntWritable(sum)); } }7. MapReduce 的局限性不适合实时计算适用于批处理。多次磁盘 I/OMap 和 Reduce 阶段数据需落盘。编程模型较底层相比 Spark、Flink 等框架。8. 总结MapReduce 通过Map映射和Reduce归约两个阶段实现分布式计算适用于海量数据的离线分析。虽然新框架如 Spark在性能上更优但 MapReduce 仍是 Hadoop 生态的核心组件理解其原理对学习大数据技术至关重要。你对 MapReduce 有什么看法欢迎在评论区讨论