尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution

A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution CryptoTensors 文章总结与翻译一、主要内容总结1. 研究背景与问题随着大型语言模型(LLMs)在医疗、法律、金融等敏感领域的定制化应用增多,私有适配的模型成为个人隐私资产或企业知识产权。但现有模型格式(如Safetensors)和部署框架缺乏内置的机密性保护、访问控制及可信硬件集成能力,现有安全方案要么依赖高计算成本的加密技术,要么需要严格管控的私有基础设施,难以大规模普及。2. 核心解决方案:CryptoTensorsCryptoTensors 是基于 Safetensors 格式扩展的轻量级LLM文件格式,专为机密模型分发设计,核心特性包括:兼容性:完全兼容现有 Safetensors 生态,支持 Hugging Face Transformers、vLLM 等主流推理框架,无需大幅修改现有工作流。细粒度加密:采用张量级加密(每个权重矩阵用独立数据加密密钥DEK加密),支持部分加密(仅加密敏感张量),保留 Safetensors 的延迟加载、部分反序列化等核心优化。内置访问控制:文件头嵌入加密元数据、访问策略(基于Rego语言)和数字签名,支持与远程密钥代理服务(KBS)集成,实现自动化密钥管理和策略验证。轻量高效:仅依赖软件加密技术,最小化可信计算基,避免系统级依赖,加密/解密开销可控。3. 技术实现
返回列表