美团LongCat-2.0-FP8革命性1.6万亿参数MoE大语言模型全面解析【免费下载链接】LongCat-2.0-FP8项目地址: https://ai.gitcode.com/meituan-longcat/LongCat-2.0-FP8美团LongCat-2.0-FP8是一款具有革命性意义的大语言模型它采用MoE混合专家架构拥有高达1.6万亿的总参数在每个token处理时会激活约480亿参数为用户带来强大的语言处理能力和丰富的应用体验。 模型核心亮点LongCat-2.0-FP8在技术上实现了多项重大突破使其在众多大语言模型中脱颖而出。 创新的LongCat稀疏注意力机制为解决现有注意力机制存在的输出不连续和二次评分瓶颈问题LongCat-2.0-FP8引入了LongCat稀疏注意力LSA该机制包含三个关键改进流式感知索引SI重塑token选择预算将硬件对齐的连续访问与动态随机选择相结合把碎片化的内存访问转变为可预测的顺序读取实现合并HBM访问和高有效带宽。跨层索引CLI利用相邻层注意力显著性的经验稳定性来分摊索引成本在推理时一次索引通过可服务多个连续层这得益于训练期间的跨层蒸馏。分层索引HI采用从粗到细的两阶段评分方案先通过块级近似评分进行粗召回然后在召回的候选范围内进行细粒度token选择缩小索引器每个查询必须处理的候选空间。这些策略都能无缝扩展到用于推测解码的三步多token预测模块。对于CLI目标模型每2层共享一个索引而所有3个MTP草稿步骤共享一次通过。 高效的N-gram嵌入技术LongCat-2.0-FP8继承了LongCat-Flash-Lite的N-gram嵌入技术通过在与MoE正交的稀疏维度上扩展参数提高参数利用效率。模型中包含1350亿个N-gram嵌入参数并遵循以下缩放原则MoE的稀疏性已越过最佳点。N-gram嵌入的比例被限制在最佳范围内。这两个原则确保了N-gram嵌入相比同等大小的纯MoE模型具有稳健的优势。 卓越的性能表现LongCat-2.0-FP8在各类基准测试中展现出优异的性能下面是其与其他领先专有模型在不同能力维度上的对比代码代理能力基准测试LongCat-2.0Gemini 3.1 ProGPT-5.5Claude Opus 4.6Claude Opus 4.7Claude Opus 4.8Terminal-Bench 2.170.870.7*73.8*-71.7*78.9*SWE-bench Pro59.554.2*58.6*57.3*64.3*69.2*SWE-bench Multilingual77.376.9*-77.8*80.5*84.8*通用代理能力基准测试LongCat-2.0Gemini 3.1 ProGPT-5.5Claude Opus 4.6Claude Opus 4.7Claude Opus 4.8FORTE73.270.377.873.277.677.2BrowseComp79.985.9*84.4*84.0*79.3*84.3*RWSearch78.876.385.381.379.377.3基础能力基准测试LongCat-2.0Gemini 3.1 ProGPT-5.5Claude Opus 4.6Claude Opus 4.7Claude Opus 4.8IFEval90.096.195.092.288.786.0Writing Bench83.883.784.7-85.385.2IMO-AnswerBench81.890.079.575.3*81.875.3GPQA-diamond88.994.3*93.6*91.3*94.2*92.4注*— 引自模型官方报告-— 无可比公开分数。 部署与使用指南LongCat-2.0-FP8可在GPU和NPU平台上部署满足不同用户的需求。GPU部署对于GPU部署请参考SGLang cookbook。NPU部署对于NPU部署请参考SGLang-FluentLLM。聊天模板使用LongCat-2.0-FP8在tokenizer_config.json文件中提供了聊天模板可用于将消息列表编码为模型输入的单个字符串。以下是使用该模板的简要示例from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(meituan-longcat/LongCat-2.0, trust_remote_codeTrue) tools [ { type: function, function: { name: func_add, description: Calculate the sum of two numbers, parameters: { type: object, properties: { x1: {type: number, description: The first number to add}, x2: {type: number, description: The second number to add}, }, required: [x1, x2], }, }, }, { type: function, function: { name: func_multiply, description: Calculate the product of two numbers, parameters: { type: object, properties: { x1: {type: number, description: The first number to multiply}, x2: {type: number, description: The second number to multiply}, }, required: [x1, x2], }, }, }, ] messages [ {role: system, content: You are a helpful assistant.}, {role: user, content: Calculate 11}, { role: assistant, reasoning_content: Calling func_add to calculate 11, tool_calls: [ {type: function, function: {name: func_add, arguments: {x1: 1, x2: 1}}}, ], }, {role: tool, name: func_add, content: {ans: 2}}, {role: assistant, reasoning_content: The result is 2, content: 2}, {role: user, content: Check your answer, is it correct?}, ] # thinking mode on prompt_think tokenizer.apply_chat_template( messages, toolstools, tokenizeFalse, enable_thinkingTrue, add_generation_promptTrue ) # thinking mode on, keeping all reasoning content for better performance prompt_full tokenizer.apply_chat_template( messages, toolstools, tokenizeFalse, enable_thinkingTrue, add_generation_promptTrue, save_reasoning_contentTrue ) # thinking mode off, for better token efficiency prompt_no_think tokenizer.apply_chat_template( messages, toolstools, tokenizeFalse, enable_thinkingFalse, add_generation_promptTrue ) 许可证协议模型权重以MIT许可证发布。对本仓库的任何贡献均采用MIT许可证除非另有说明。本许可证不授予使用美团商标或专利的任何权利。完整许可证文本见LICENSE文件。 使用注意事项该模型并非专门为每一个可能的下游应用而设计或进行全面评估。开发人员应考虑大型语言模型的已知局限性包括不同语言间的性能差异并在将模型部署到敏感或高风险场景之前仔细评估准确性、安全性和公平性。开发人员和下游用户有责任了解并遵守与其用例相关的所有适用法律法规包括但不限于数据保护、隐私和内容安全要求。本模型卡片中的任何内容均不应被解释为改变或限制模型发布所依据的MIT许可证条款。 联系我们如有任何问题请通过longcat-teammeituan.com与我们联系或提交issue。【免费下载链接】LongCat-2.0-FP8项目地址: https://ai.gitcode.com/meituan-longcat/LongCat-2.0-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考