
一、文章主要内容总结该研究聚焦大型语言模型(LLMs)训练中的个人身份信息(PII)隐私保护问题,针对传统差分隐私方法(如DP-SGD)采用统一噪声注入导致的隐私-效用权衡失衡问题,提出了敏感度感知自适应差分隐私(SA-ADP)框架。其核心思路是根据训练数据中各PII令牌的敏感度动态分配噪声,实现细粒度隐私保护。SA-ADP的三阶段核心流程:PII检测:利用基于LangChain和LLaMA 3的隐私代理自动提取训练数据中的敏感令牌;敏感度评分:从频率(稀有度)、可链接性(与其他信息关联能力)、数据类型(是否受全球隐私法规保护)三个维度,通过加权线性组合计算令牌的归一化敏感度分数(0.0-1.0);自适应噪声校准:基于敏感度分数分配高斯噪声(高敏感度令牌:σ=3.0;低敏感度令牌:σ=2.0;非敏感令牌:无噪声),并通过Rényi差分隐私(RDP)会计框架跟踪隐私损失预算。实验验证:在UNSW-NB15(结构化)、ABCD、CUSTOMERSIM(对话类)、Wikitext-2(非结构化)四个数据集上微调GPT-2模型,结果显示SA-ADP在保持99%基线模型(无DP)效用(准确率、困惑度)的同时,隐私损失预算(ε)较传统DP-SGD降低约75%,且在不同PII密度、不同数据类型场景下均表现稳定。二、文章创新点令牌级自适应隐私机制:突破传统D