尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View

On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View 论文《On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View》总结与翻译一、文章主要内容本文围绕联邦学习(FL)与大型语言模型(LLMs)的结合(即FedLLM)展开,聚焦联邦后训练场景,从模型可访问性和参数效率两个维度,系统梳理了FedLLM的发展脉络与现有方法,并指出未来研究方向。1. 核心背景与挑战隐私与效率需求:LLMs后训练常涉及敏感用户数据,联邦学习可实现去中心化训练以保护隐私,但LLMs参数规模大、计算与通信成本高,传统全模型微调在联邦场景中实用性低。模型访问限制:现实中LLMs内部信息(如参数、结构)常受商业保护,用户多仅能通过推理API或部分参数访问模型,现有研究对“黑盒”“仅推理”场景的关注不足。2. 关键技术与分类体系文章提出FedLLM的二维分类框架,将现有方法分为白盒、灰盒、黑盒三类,具体如下:分类模型可访问性参数效率代表
返回列表