1. 项目背景与数据准备作为一名长期从事社会经济数据分析的研究者我经常需要处理中国家庭追踪调查CFPS这类大型微观数据库。CFPS作为北京大学中国社会科学调查中心执行的全国性综合调查其数据量大、变量多、结构复杂的特点让很多初学者望而生畏。今天我就以政府转移支付这个具体变量为例分享一套完整的Stata数据处理流程。首先需要明确的是CFPS数据采用分年度、分模块的存储方式。以2020年数据为例我们需要下载以下关键文件adult.dta成人问卷核心数据family.dta家庭问卷数据transfer.dta转移支付专项数据codebook.pdf变量编码手册重要提示CFPS数据需要申请获得使用权限在ISSS官网注册并通过审核后才能下载完整数据文件。建议同时下载对应年份的问卷PDF这对理解变量含义至关重要。在开始清洗前我通常会创建这样的项目目录结构CFPS2020/ ├── raw_data/ # 原始数据勿修改 ├── cleaned/ # 清洗后数据 ├── dofiles/ # Stata脚本 │ ├── 01_load.do │ ├── 02_clean.do │ └── 03_analysis.do └── outputs/ # 分析结果2. 数据加载与变量识别2.1 原始数据加载使用Stata加载数据时我强烈建议采用preserve/restore命令组合避免意外覆盖原始数据preserve use raw_data/adult.dta, clear save cleaned/adult_clean.dta, replace restore对于政府转移支付数据我们需要重点关注transfer.dta中的以下关键变量tf*系列变量各类转移支付金额urban城乡分类province省份代码familyid家庭唯一标识2.2 变量匹配与合并CFPS数据需要通过家庭ID进行跨表关联。这是我常用的合并命令序列// 首先按家庭ID排序 sort familyid save cleaned/transfer_temp.dta, replace // 加载家庭基础数据 use raw_data/family.dta, clear sort familyid // 一对一合并 merge 1:1 familyid using cleaned/transfer_temp.dta drop if _merge ! 3 // 只保留匹配成功的样本 drop _merge经验之谈合并后务必检查样本量变化。CFPS不同模块的样本覆盖范围可能有差异我通常会记录每个关键步骤后的样本量形成数据清洗日志。3. 数据清洗实战技巧3.1 缺失值处理政府转移支付数据中常见以下几种缺失情况明确拒绝回答-1不知道/不清楚-2不适用-8系统缺失.我的处理方案// 替换特殊缺失值 foreach var of varlist tf* { replace var . if inlist(var, -1, -2, -8) } // 创建缺失值标记变量 gen mis_transfer missing(tf_total)3.2 异常值检测政府转移支付金额需要检查上下限合理性// 描述性统计 sum tf_total, detail // 绘制箱线图 graph box tf_total, over(urban) // 设置合理范围示例 replace tf_total . if tf_total 0 | tf_total 500003.3 变量转换为便于分析我通常会创建这些衍生变量// 对数转换处理右偏分布 gen lntf ln(tf_total 1) // 1避免对0取对数 // 分类变量生成 egen tf_quartile cut(tf_total), group(4) label define qtl 0 0-25% 1 25-50% 2 50-75% 3 75-100% label values tf_quartile qtl // 城乡差异变量 gen tf_urban tf_total if urban 1 gen tf_rural tf_total if urban 04. 政府转移支付专题分析4.1 描述性统计制作专业的三线表eststo clear estpost summarize tf_total lntf tf_urban tf_rural esttab using outputs/summary.rtf, /// cells(mean(fmt(2)) sd(fmt(2)) min max) /// noobs replace4.2 城乡差异分析使用ttest检验城乡差异ttest tf_total, by(urban) graph hbar (mean) tf_total, over(urban) /// title(城乡转移支付对比) /// ytitle(平均金额元)4.3 地域分析按省份分析转移支付分布collapse (mean) tf_mean tf_total (sd) tf_sd tf_total, by(province) merge 1:1 province using raw_data/province_code.dta spmap tf_mean using raw_data/china_coordinates.dta, /// id(province_id) /// title(各省转移支付平均水平) /// clmethod(q6) /// legend(title(金额元))5. 高级处理技巧5.1 面板数据处理对于多期CFPS数据需要构建面板结构xtset familyid year xtdes // 检查面板结构5.2 样本权重应用CFPS数据需要使用抽样权重svyset [pwindweight], strata(provcode) psu(familyid) svy: mean tf_total5.3 结果导出自动化我常用的结果输出模板// 回归结果输出 eststo model1: reg tf_total i.urban##c.age eststo model2: xtreg tf_total l.tf_total income, fe esttab model1 model2 using outputs/reg_results.csv, /// b(3) se(3) star(* 0.1 ** 0.05 *** 0.01) /// scalars(N r2_a) replace6. 常见问题解决方案在实际操作中我遇到过这些典型问题问题1变量标签乱码解决方案在do文件开头添加set charset gb18030问题2内存不足处理方法set max_memory 2G // 根据电脑配置调整 set segmentsize 32M问题3跨年数据合并推荐方案// 使用循环处理多期数据 forvalues y 2010(2)2020 { use raw_data/y/transfer.dta, clear gen year y save cleaned/transfer_y.dta, replace } // 纵向合并 use cleaned/transfer_2010.dta, clear forvalues y 2012(2)2020 { append using cleaned/transfer_y.dta }经过多年实践我总结出CFPS数据处理的三条黄金法则永远保留原始数据不可修改每个处理步骤都要有完整记录变量转换要注明计算逻辑最后分享一个实用技巧在大型数据处理时可以使用timer命令监控各步骤耗时timer clear timer on 1 // 你的数据处理代码 timer off 1 timer list