数据预处理

数据预处理1.归一化/标准化1.1 标准化目的1.2 适用算法1.3 不适用算法1.4 方法2. 缺失值2.1 缺失原因2.2 缺失类型2.3 处理方法2.3.1 删除2.3.2 填补2.3.2.1 替代2.3.2.2 拟合2.3.2.3 高维映射2.3.3 不处理3. 噪音数据处理3.1 噪音原因3.2 处理方法1.归一化/标准化数据预处理-标准化/归一化1.1 标准化目的去除量纲限制提升模型收敛速度提升模型的精度1.2 适用算法SVMLogistic RegressionSGDNeural Network1.3 不适用算法Decision TreeRandom ForestOLS1.4 方法Min-maxZ-score线性函数标准化小数定标标准化log函数转换atan函数转换2. 缺失值数据预处理-缺失值处理2.1 缺失原因信息无法获取/被遗漏不重要/不可用/价格高系统要求高2.2 缺失类型完全随机缺失随机缺失完全非随机缺失2.3 处理方法2.3.1 删除直接删除2.3.2 填补2.3.2.1 替代均值查补同类均值插补手动查补2.3.2.2 拟合建模预测多重插补2.3.2.3 高维映射2.3.3 不处理直接进入建模3. 噪音数据处理数据预处理-噪音处理3.1 噪音原因随机误差人为误差3.2 处理方法分类聚类回归人工检查