点一下关注吧非常感谢持续更新----------------------Java篇开始了---------* MyBatis 更新完毕* 目前开始更新 Spring一起深入浅出目前已经更新到了---------* Hadoop已更完* HDFS已更完* MapReduce已更完* Hive已更完* Flume已更完* Sqoop已更完* Zookeeper已更完* HBase已更完* Redis 已更完* Kafka已更完* Spark已更完* Flink已更完* ClickHouse已更完* Kudu已更完* Druid已更完* Kylin已更完* Elasticsearch已更完* DataX已更完* Tez已更完* 数据挖掘已更完* Prometheus已更完* Grafana已更完* 离线数仓已更完* 实时数仓正在更新…章节内容----* Griffin架构 修改配置* pom.xml sparkProperties* 编译启动项目背景----随着互联网的发展数据的时效性对企业的精细化运营越来越重要每天产生的海量数据中如何能实时的挖掘出有价值的信息对企业的决策运营策略调整有很大帮助。此外随着 5G 技术的成熟、广泛应用对于互联网、物联网数据的时效性要求非常高的企业需要实时的数据体系来提高自身的行业竞争力。随着数据时效性在企业运营中的重要性日益凸显例如* 实时推荐* 精准营销* 广告投放效果* 实时物流数据实时处理能力成为企业提升竞争力的一大因素最初阶段主要采用来一个需求编写一个实时任务的方式来处理实时数据随着需求的增多计算任务也相对增多并且不同任务的开发人员不同导致开发风格差异化该阶段的实时数据处理缺乏统一的规划代码风格差异化严重在维护成本和开发效率上有很大障碍。 为了避免上述的问题人们参照数据仓库的概念和模型来重新规划和设计实时数据处理在此基础上产生了实时数据仓库实时数仓。数仓概念----### 离线数仓架构### 实时数仓架构### 收集层* Binlog业务日志、IoT物联网、后端服务日志系统日志* 经过日志收集团队和 DB 收集团队的处理数据将会收集到 Kafka 中这些数据不只是参与实时计算也会参与离线计算。### 存储层* Kafka实时增量数据* HDFS状态数据存储和全量数据存储持久层* HBase维度数据存储### 引擎层实时处理框架### 平台层数据、任务和资源三个角度去管理 集群资源### 应用层底层架构的应用场景### 流量相关* 流量数据的产生不同通道的埋点和不同页面的埋点产生的数据* 采集按照业务维度划分不同的业务通道* 应用流的方式提供下游业务使用、流量方面的分析### 实时效果验证* CPV展示广告又称富媒体广告按展示付费即按投放广告网站的被展示次数计费网站被打开一次计费一次。* CPC 与 CTR在现在的广告业 CPC 这个指标很难用来跟效果扯上关系更多的时候是计费单位了。而 CTR 有的时候还是会作为效果的工具大多用来衡量两次投放的不同投放策略、优化策略、创意的好坏。* Reach Rate广告产生点击动作以后后面的指标就是到达。点击后到达的比率是一个重要的指标是否比较高的到达率是广告效果的重要体现。* Conversation Rate广告后续的转换比率从到达到转化的比率是用来评估广告效果的一种指标需求分析----* 日志数据启动日志、点击日志、广告日志* 业务数据用户下单、提交订单、支付、退款等核心交易数据的分析* 广告流量的实时统计生成动态黑名单* 恶意刷单一旦发现恶意刷单进行实时警告基于动态黑名单进行行为过滤计算每隔 5 分钟统计最近一小时内各广告的点击量计算每天各省的热门广告计算每天各广告最近 1 小时内的点击趋势* 点击来源从不同的维护分析用户是从哪里来的* 渠道质量针对用户进行以下几方面分析访问时长、是否消费、首次消费的金额、收藏、访问页面数PV* 风险控制当检测到交易异常时进行实时警告技术选型----### 技术选型方案框架选型Apache、第三方发行版CDH、HDP、Fusion Insight。Apache 社区版本的优点* 完全开源免费* 社区活跃* 文档、资料详实Apache 社区版本的缺点* 复杂的版本管理* 复杂的集群安装* 复杂的集群运维* 复杂的生态环境第三方发型版本CDH、HDP、Fusion InsightHadoop 遵从 Apache 遵从Apache开源协议用户可以免费的任意使用和修改 Hadoop。 正因如此市面上很多厂家在 Apache Hadoop 的基础上开发自己的产品如 Cloudera 的 CDHHortonworks 的 HDP华为的 Fusion Insight等这些产品的优点是* 主要功能和社区一致* 版本管理清晰比如 Cloudera、CDH1、CDH2、CDH3、CDH4 等后面加上补丁版本* 比 Apache Hadoop 在兼容性、安全性、稳定性上有增强。第三方发行版通常都经过大量的测试验证有众多部署实例大量的运用各种生产环境* 版本更新快如 CDH 每个季度会有一个 update每一年会有一个 release* 基于稳定的版本 Apache Hadoop并应用了最新 BUG 修复* 提供了部署、安装、配置工具大大提供了集群部署的效率可以在几个小时内部署好集群运行简单提供了管理、监控、诊断、配置修改的工具管理配置方便定位问题快速、准确、使运行工作简单、有效* CDH最成型的发型版本拥有最多的部署案例提供强大的部署、管理和监控工具国内使用最多的版本拥有强大的社区支持当遇到问题时能够通过社区、论坛等网络资源快速获取解决方法 * HDP100% 开源可以进行二次开发但没有 CDH 稳定国内使用相对较少Fusion Insight华为基于 Hadoop 2.7版本开发的坚持分层解耦开放的原则得益于高可靠性在全国各地政府、运营商、金融系统有较多案例。 软件选型方案------* 数据采集Flume、Canal* 数据存储MySQL、Kafka、HBase、Redis* 数据计算Flink* OLAPClickHouse、Druid 框架### 逻辑架构业务数据库表结构--------业务数据库------* 交易订单表trade_orders* 订单产品表order_product* 产品信息表product_info* 产品分类表product_category* 商家店铺表shops* 商家地域组织表shop_admin_org* 支付方式表payments