注数仓数据处理的步骤最先从客户需求出发沟通确定相应的主题需求指标拿到指标表后再进行贴源层ods标准层dwd宽表层dws展示层ads的分层加工整体步骤为需求沟通——明确主题——获取主题所需的数据表——进行清洗数据统一数据类型、码值银行编码表、命名脱敏规则---份udf函数、异常值空值、不符合规范、特殊符号用正则表达式使数据更规范一般在标准层—dwd层进行建模梳理数据表详细业务整理逻辑采用星星模型或雪花模型来进行建模形成宽表框架宽表空表无数据再进行dws-ods的表映射写sql脚本上传再写hive脚本调用最终在dbeaver的dws层形成宽表建立宽表层——需求沟通——明确数据指标——根据数据指标详细业务的统一口径做数据倾斜处理形成最终的展示表一、贴源层ods需求沟通——明确主题——获取主题所需的数据表从源数据中抽取该主题所需要的数据导入到ods层一般会用到kettle、dataX两种工具用kettle添加组件时间戳、过滤条件的形式进行数据抽取可以获得相应数据用dataX①在根目录下创建文件在该文件中创建json、myshell、sourceData、sql文件储存相应的脚本类型②根据数据表写json脚本储存到json文件夹中{ job: { content: [ { reader: { name: mysqlreader, parameter: { column: [*], connection: [ { jdbcUrl: [jdbc:mysql://192.168.77.188:3306/haidian?useUnicodetruecharacterEncodingutf8], table: [c_class] } ], password: 999999, username: root, where: } }, writer: { name: txtfilewriter, parameter: { dateFormat: yyyy-MM-dd HH:mm:ss, fieldDelimiter: \u0001, fileName: c_class, path: /class94/sourceData/c_class/dt${v_date}, writeMode: truncate } } } ], setting: { speed: { channel: 1 } } } }③再写调用json的exp/put/msck脚本储存到myshell的文件夹中dtdate -d 1 day ago %Y-%m-%d # 运行json配置文件抽取数据 python /opt/soft/datax/bin/datax.py -p -Dv_date${dt} /class94/json/quanliang/c_class.json if [ $? -eq 0 ] then echo $dt 号的数据抽取成功 else echo ${dt}号的数据同步失败!!!! fi④赋权脚本chmod ux exp抽取/put上传/msck更新分区⑤运行脚本./exp/put/msck⑥抽取上传更新分区数据⑦得到T1数据二、标准层dwd进行清洗数据统一数据类型、码值银行编码表、命名脱敏规则正则公式可以实现替换校验的功能、异常值空值、不符合规范、特殊符号用正则表达式使数据更规范一般在标准层—dwd层进行。