一、实验目的本实验基于全班同学在多平台发布的作品互动数据使用助睿ETL完成数据清洗与预处理输出两张核心数据表为后续特征工程与可视化分析奠定基础。通过本实验应掌握以下内容理解数据清洗在数据分析流程中的基础性与必要性使用助睿ETL完成多源数据的过滤、填充、聚合等预处理操作掌握分支处理的设计思路全平台概况统计与重点平台深度分析分流输出两张规范数据表支撑仪表盘不同模块的数据需求二、实验环境项目说明实验平台助睿在线实验平台https://lab.guilian.cn/数据处理工具助睿ETL数据集成平台课程名称商业数据分析三、实验步骤3.1步骤1创建目标表在助睿ETL中创建两张目标表分别用于存储全平台汇总数据和重点平台明细数据。1summary_all_platforms全平台概况表该表用于存放所有平台的汇总数据字段设计如下字段类型说明crawl_dateDATE采集日期platformVARCHAR(20)平台名称content_countINT作品数量total_viewsINT总浏览数total_likesINT总点赞数total_favoritesINT总收藏数total_sharesINT总分享数total_coinsINT总投币数仅B站total_recommendINT总推荐数仅微信total_likes_zhihuINT总喜欢数仅知乎total_approvalsINT总赞同数仅知乎2content_analysis内容分析表该表作为实验二的输入字段与原始数据基本一致但只包含B站和CSDN的有效记录字段类型说明dateDATE采集日期author_nameVARCHAR(100)作者昵称titleVARCHAR(500)作品标题platformVARCHAR(20)B站 / CSDNlikesINT点赞数favoritesINT收藏数sharesINT分享数coinsINT投币数仅B站viewsINT播放量/阅读量urlVARCHAR(500)作品链接total_interactionINT互动总数has_bestTINYINT(1)是否含保姆级has_lowcodeTINYINT(1)是否含零代码has_practiceTINYINT(1)是否含实战has_tutorialTINYINT(1)是否含教程/指南has_pitTINYINT(1)是否含踩坑3.2步骤2导入原始数据将助睿ETL公共空间的「自媒体作品数据明细.csv」导入到自己的文件库中作为数据源输入。该数据集包含同学们在6月8日-6月15日提交的作品互动数据涵盖B站、CSDN、微信、知乎、小红书等多个平台。3.3步骤3全平台聚合统计分支1这是第一个数据分支用于生成全平台概况数据拖入「CSV文件输入」组件选择导入的自媒体作品数据明细.csv拖入「排序记录」组件按日期和平台排序拖入「分组」聚合组件分组字段日期、平台聚合方式所有数值字段全部取求和作品数量使用COUNT计数输出到 summary_all_platforms 表3.4步骤4过滤记录分支2这是第二个数据分支用于筛选有效数据做深度分析。使用「过滤记录」组件设置以下条件组合sql(平台 B站 AND 浏览数量 0)OR(平台 CSDN AND 浏览数量 0)过滤逻辑说明只保留B站和CSDN两个平台微信、知乎等平台浏览量大量缺失无法支撑有效分析删除两个平台中浏览量为0的记录聚焦真正产生用户互动的作品3.5步骤5填充缺失值在过滤后的分支中拖入「替换NULL值」组件值替换为未知填充空字符串勾选对作者名称、作品标题等可能存在空值的字段统一填充为未知3.6步骤6字段选择拖入「字段选择」组件只保留分析需要的字段其余全部剔除保留字段date, author_name, title, platform, likes, favorites, shares, coins, views, url注意事项剔除source_file等采集批次标记字段分析用不到保留coins投币数量作为B站特有的互动指标日期字段需重命名为date与目标表字段名一致3.7步骤7输出目标表拖入「表输出」组件将处理后的数据输出到 content_analysis 表。3.8步骤8执行转换流完整的转换流结构如下点击运行执行CSV文件输入├─→ 排序记录 → 全平台聚合统计 → 全平台概况表输出 (summary_all_platforms)└─→ 过滤记录 → 替换NULL值 → 字段选择 → 内容分析表输出 (content_analysis)四、遇到的问题及解决4.1问题1聚合字段找不到错误信息Aggregate subject field [content_count] couldnt be found!问题原因在聚合组件中错误地选择了content_count作为聚合字段但原始CSV数据中根本没有这个字段。content_count是目标表的输出字段名不是输入字段。解决方法作品数量应该通过对任意非空字段如title做COUNT计数得到将输出别名设置为content_count其他数值字段浏览量、点赞数等使用SUM求和4.2问题2字符串字段无法求和错误信息couldnt convert String to number问题原因对title等字符串类型字段使用了SUM聚合方式字符串无法进行数值求和运算。解决方法字符串字段只能用于COUNT计数聚合不能用于SUM求和统计作品数量时选择COUNT方式而非SUM4.3问题3字段名不匹配错误信息Unknown column crawl_date in field list问题原因数据流中的日期字段名是crawl_date但目标表content_analysis中的日期字段名是date字段名不匹配导致插入失败。解决方法在「字段选择」组件中将日期字段重命名为date确保输出字段名与目标表字段名完全一致。4.4问题4数据类型不匹配错误信息There was a data type error: the data type does not correspond to value meta [Date]问题原因CSV文件输入时日期字段被识别为字符串类型但目标表中该字段是Date类型写入时类型不匹配。解决方法在「字段选择」组件中将date字段的数据类型从String改为Date并指定正确的日期格式如yyyy-MM-dd。五、实验总结5.1实验成果本次实验成功完成了自媒体运营数据的清洗与预处理工作输出了两张核心数据表summary_all_platforms全平台概况数据表包含各平台每日的作品数量、总浏览、总点赞等汇总指标content_analysis重点平台内容分析表筛选出B站和CSDN的有效作品记录为后续特征工程和深度分析奠定基础5.2核心知识点多条件过滤使用AND/OR组合平台过滤与有效记录判定一个组件完成双重过滤缺失值处理统一填充默认值未知避免计算异常分支处理设计一份原始数据分两条支路处理分别满足全平台概况和深度分析两种需求宽表设计一次清洗、多次使用一张表支撑全部后续分析字段类型转换数据处理过程中需注意字段类型和名称的一致性避免写入数据库时报错5.3心得体会通过本次实验我深刻理解了数据清洗在数据分析流程中的重要性。原始数据往往存在各种问题如平台冗余、无效记录、字段缺失等如果不经过清洗直接使用会严重影响后续分析结果的准确性。同时分支处理的设计思路也让我受益匪浅——针对不同的分析需求对同一份原始数据采用不同的清洗策略这样既能保证全平台统计的完整性又能确保重点平台分析的有效性。这种设计思想在实际工作中具有很强的实用价值。此外实验过程中遇到的各种报错也让我积累了宝贵的排错经验学会了如何根据错误日志定位问题、分析原因并找到解决方案。这些问题解决能力对于数据工程师来说是非常重要的基本功。