超越传统稀疏注意力HiLS-Attention-7B的分层稀疏机制详解【免费下载链接】HiLS-Attention-7B项目地址: https://ai.gitcode.com/tencent_hunyuan/HiLS-Attention-7BHiLS-Attention-7B是一款基于OLMo3架构的70亿参数语言模型创新性地采用分层稀疏注意力Hierarchical Sparse Attention机制在保持高性能的同时实现了超长上下文建模与高效推理。本文将深入解析其核心技术原理、性能优势及应用场景。 什么是HiLS-Attention传统稀疏注意力通过精确计算块质量chunk mass来选择top-k块但需要完整的QK矩阵计算。HiLS-Attention则通过压缩块键compressed chunk keys估计块质量代理并将注意力分解为块间inter-chunk和块内intra-chunk两级softmax计算实现了端到端的语言建模损失学习。这种创新设计带来两大核心优势突破超长上下文限制支持远超YaRN扩展4倍长度的文本处理加速长序列推理在保持性能的同时显著降低计算成本 核心技术解析分层稀疏机制架构HiLS-Attention的核心在于将注意力计算分解为两个层次块间注意力通过压缩键快速筛选关键信息块块内注意力对选中块进行精细注意力计算这种架构避免了传统稀疏注意力的完整QK计算瓶颈使模型能在有限计算资源下处理超长文本。模型基于OLMo3-7B架构持续训练500亿 tokens保留了原始模型的短中上下文任务性能同时获得了超长上下文外推能力。性能对比与优势经过在多维度基准测试验证HiLS-Attention-7B表现出显著优势长上下文任务在LongBench v121个任务最长64K输入、RULER8K/16K/32K/128K探测任务和PPL64K-256K序列长度等测试中性能领先短上下文任务在MMLU、GPQA、HellaSwag等11项OpenCompass基准测试中保持与全注意力模型相当的性能推理效率长序列处理速度显著优于传统稀疏注意力模型 模型部署与使用HiLS-Attention-7B不能通过标准transformers的AutoModelAPI直接加载需要通过专用代码库注册自定义分层稀疏注意力机制。完整使用流程如下克隆官方仓库git clone https://gitcode.com/tencent_hunyuan/HiLS-Attention-7B参考GitHub仓库中的Evaluation部分eval/和scripts/eval/目录配置环境并加载模型支持的主要应用场景长文档检索与问答超长文本摘要生成稀疏注意力训练研究上下文外推能力评估提示SGLang推理支持正在开发中可关注官方仓库获取最新更新 模型参数与训练细节参数规模约70亿基础架构OLMo3-7B训练方法基于OLMo3-7B骨干模型的原生稀疏注意力持续预训练训练数据量约500亿tokens位置编码采用HoPE与YaRN长度外推技术完整训练与持续预训练脚本可在官方仓库中找到。⚠️ 限制与注意事项适用范围未经过安全对齐和指令微调不建议直接用于安全关键场景输出验证可能存在内容不准确或偏见问题生产环境使用前需充分验证技术依赖需配合专用代码库使用无法直接通过标准Transformer库加载 引用与学术资源HiLS-Attention技术源自论文《Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling》arXiv:2607.02980。如需在研究中使用本模型请引用misc{hu2026hierarchicalsparseattentionright, title{Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling}, author{Xiang Hu and Xinyu Wei and Hao Gu and Minshen Zhang and Tian Liang and Huayang Li and Lei Zhu and Yan Wang and Sirui Han and Yushi Bai and Kewei Tu and Haitao Mi and Leo Liang}, year{2026}, eprint{2607.02980}, archivePrefix{arXiv}, primaryClass{cs.CL}, url{https://arxiv.org/abs/2607.02980}, } 模型文件结构项目根目录包含以下核心文件模型配置config.json分词器配置tokenizer_config.json、tokenizer.json、vocab.json、merges.txt模型权重model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors基准模型检查点位于baseline_ckpts目录包含多种注意力机制的对比模型如fullattn_RoPE_345M、dash_attn_345M等。HiLS-Attention-7B代表了稀疏注意力技术的重要突破为处理超长上下文提供了高效解决方案同时为自然语言处理研究开辟了新方向。无论是学术研究还是实际应用都值得关注和尝试这一创新模型。【免费下载链接】HiLS-Attention-7B项目地址: https://ai.gitcode.com/tencent_hunyuan/HiLS-Attention-7B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考