2.1探索性数据分析1.导入相关包numpypython中做数据分析常用的包pandas也是用于数据分析擅长处理表数据没那么大要放入内存中这将是首选matplotlib.pyplot源自matlab的画图工具seaborn基于matplotlib提供更多的画法*剩下两行用于将图片设成svg文件画起来分辨率相对高一点2.读取数据csv文件存下来相对比较大可以先压缩成一个zip或一个tar主流的读取文件都可以从压缩文件中读取。建议存成压缩文件在传输存储都会比较好甚至还会比直接读取还要好这个方法可用于文本3.checkdata.shape样本个数样本特征数data.head() 把前面几行信息打出来4.简化数据如果一个列30%的样本该列数据是缺失的就把该列删去简化数据*inplace可以省去内存消耗但是只能运行一次第二次删除即为删除空导致报错5.检查数据的类型data.dtypes观察有哪些类型的变量的type识别产生了错误6.处理错误的数据类型1.将带’$’的货币字符串去掉’$’后转为可被识别转换的浮点数float2.将带不同单位的变量去掉符号并统一变量如 1000 sqft、1 Acres统一转换为平方英尺sqft第1步找出哪些行是英亩单位第2步去掉单位文字和逗号转成数字第3步英亩单位 × 43560 换算成平方英尺并写回数据7.查看数据处理完后的特征数值列转换完成后需要查看各列的最小值min和最大值max因为有些列的极值明显不合理可能存在异常值或数据错误。data.describe()8.过滤不正常的数据删除面积小于 10 或大于 10000 平方英尺的异常记录共 41000 条9.查看卖的价格分布*可以用log10让分布均匀一点10.查看具体以’Type’的种类有哪些value_counts()统计每个唯一值出现的次数自动降序排列[0:20]切片取前 20 个出现频率最高的 20 种11.价格密度分布图1标记几种类型2构建DataFrame并绘制密度图12.用箱线图对比不同房屋类型的单价差异不同分布之间的对比13.特征相关性热力图