概念目标数据触发方式数据包规模场景实时性数据存储批处理存量数据定时任务多条数据数据分析如BI报表没有实时性要求处理过程中一般不存储或者存储快照流处理增量数据事件驱动单条数据实时数据处理如告警监控实时处理中间过程数据需要处理数据处理1. 任务很大量比较小。比如统计全国** 使用MR模型各省市统计完一层层汇总2. 任务可单机完成量很大。比如告警3. 居于中间场景 任务挺大 单机处理起来挺耗时 量也不少但不至于上亿任务拆分任务拆分和合并是需要额外的工作量的如果不是太大不建议拆分任务切换任务切换需要重新读取加载数据的发送等工作。任务小如一个告警处理一次。特点是处理快时延小因为边际成本存在吞吐量有限任务大如一批告警处理一次。特点是处理慢时延长吞吐量更大怎么平衡任务大小和任务量的关系:1. 场景解决100,1W100W 不同了量级人员信息的统计2. 问题将N个人打包为一个package作为一个task。那么n取多少合适3. 核心因素实时性优先场景比如紧急告警当然得保证实时性吞吐量优先如日志收集和分析慢一点没关系。4. 流处理实时性要求高的 streaming processing5. 批处理吞吐量要求高的 batch processing流处理1. 数据采集 --》 MQ --》 消费开始处理A处理 -》B处理 -》C处理2. 数据采集 --》 MQ --》持久化 定时任务 --》批量读取数据 --》 处理