数据清洗的常用方法
目录数据清洗常用函数一、TRIM删除多余空格二、CLEANT清洗不可见文字三、SUBSTITUTE替换特定文本四、MAX/MIN找最大/最小值五、VALUE文本转数值六、IFERROR错误值自动替换方法一Excel 函数公式法一、删除重复订单二、筛选空白无效数据三、拆分商品名称文本四、统一数字格式方法二Power Query 自动化一、删除重复项/空行二、拆分列三、替换值四、更改数据类型方法三Python 代码法清洗思路总结给一份杂乱的订单表删除重复订单、筛选空白无效数据、拆分商品名称文本、统一数字格式。数据清洗常用函数一、TRIM删除多余空格TRIM(A1:A10)二、CLEANT清洗不可见文字CLEAN(A1)三、SUBSTITUTE替换特定文本SUBSTITUTE(A1,旧文本,新文本)四、MAX/MIN找最大/最小值MAX(A1:A10)或MIN(A1:A10)五、VALUE文本转数值VALUE(A1)六、IFERROR错误值自动替换IFERROR(A1/B1,除数不能为0)方法一Excel 函数公式法如果习惯在 Excel 里操作用函数公式是最直接的。一、删除重复订单最快捷的方法是使用“数据”选项卡下的“删除重复值”功能。如果想用公式标记可以在辅助列输入IF(COUNTIF($A$2:A2,A2)1,重复,) 然后向下填充就能把所有重复的订单号标记出来。二、筛选空白无效数据选中整个表格按CtrlShiftL开启筛选功能。点击每一列的筛选箭头取消勾选“(空白)”就能快速隐藏所有空白行。三、拆分商品名称文本1.懒人神器 选中需要拆分的列直接按CtrlEExcel 会自动识别你的意图进行填充非常智能。2.公式法 如果商品名和规格是用特定符号如“-”或“/”隔开的可以用“数据”→“分列”功能。或者用LEFT 、 MID 、 RIGHT函数根据字符位置进行提取。3.清除多余空格 平台导出的数据常带有很多看不见的空格导致匹配出错。可以用TRIM(A2)函数清除单元格前后和中间多余的空格。四、统一数字格式选中需要统一的列点击“数据”→“分列”最后一步直接点击“完成”即可快速将文本型数字转换为数值型。 也可以用VALUE(A2)函数转换。方法二Power Query 自动化如果数据需要定期清洗强烈推荐使用 Excel 自带的Power Query工具。它能把你的清洗步骤记录下来下次有新数据时一键刷新就能自动完成所有操作。一、删除重复项/空行在 Power Query 编辑器中选中列后在“开始”选项卡下找到“删除行”可以选择“删除重复项”或“删除空行”。二、拆分列选中要拆分的列在“转换”选项卡下点击“拆分列”可以根据分隔符如逗号、短横线或固定宽度来拆分。三、替换值可以轻松替换错误值或空值比如把所有错误值替换为“未知”。四、更改数据类型点击列标题旁边的数据类型图标可以统一将日期、数字、文本格式标准化。方法三Python 代码法对于数据量特别大或者清洗逻辑特别复杂的情况用 Python 的 pandas 库会非常高效。import pandas as pd # 读取Excel文件 df pd.read_excel(淘宝闪购订单表.xlsx) # 1. 删除重复订单 (假设订单号是唯一标识) df.drop_duplicates(subset[订单号], inplaceTrue) # 2. 筛选空白无效数据 (删除所有列都为空的行) df.dropna(howall, inplaceTrue) # 删除商品名称列为空的行 # df.dropna(subset[商品名称], inplaceTrue) # 3. 拆分商品名称文本 (假设用-分隔) # 将商品名称列按-分割并扩展为多列 split_cols df[商品名称].str.split(-, expandTrue) # 将分割后的新列合并回原DataFrame df pd.concat([df, split_cols], axis1) # 重命名新列 df.rename(columns{0: 商品主名, 1: 商品规格}, inplaceTrue) # 4. 统一数字格式 (将数量列转换为数值类型) df[数量] pd.to_numeric(df[数量], errorscoerce) # 保存清洗后的数据 df.to_excel(清洗后的订单表.xlsx, indexFalse)清洗思路总结1.偶尔一次 用 Excel 的“删除重复值”、“筛选”和 CtrlE 最快。2.重复工作 一定要学 Power Query一劳永逸下次刷新就行。3.数据量巨大 考虑用 Python处理速度和灵活性都更高。