Kimi-K2-Thinking-MXFP4-AttnFP8社区支持与贡献指南加入AMD AI优化生态【免费下载链接】Kimi-K2-Thinking-MXFP4-AttnFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8Kimi-K2-Thinking-MXFP4-AttnFP8是基于Kimi-K2-Thinking模型优化的AMD专用AI模型通过MXFP4量化技术实现高效推理特别针对AMD MI350/MI355硬件架构优化是AMD AI生态的重要组成部分。本文将为新手和普通用户提供完整的社区支持与贡献指南帮助你快速融入AMD AI优化生态。为什么选择Kimi-K2-Thinking-MXFP4-AttnFP8✨ 核心优势概览高性能低功耗采用MXFP4量化技术在保持92.95% GSM8K推理精度原始模型94.16%的同时实现更高效的硬件资源利用AMD硬件优化专为ROCm 7.0和MI350/MI355架构设计充分发挥AMD GPU的AI计算能力灵活部署支持vLLM推理引擎可轻松实现高性能部署 量化效果对比基准测试Kimi-K2-ThinkingKimi-K2-Thinking-MXFP4-AttnFP8精度恢复率GSM8K (flexible-extract)94.1692.9598.71%快速开始从安装到部署 环境准备确保你的系统满足以下要求操作系统LinuxROCm版本7.0Transformers版本4.57.6推理引擎vLLM 模型获取git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8 cd Kimi-K2-Thinking-MXFP4-AttnFP8 使用vLLM部署服务export VLLM_ATTENTION_BACKENDTRITON_MLA export VLLM_ROCM_USE_AITER1 vllm serve . \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --trust-remote-code社区贡献指南 贡献方式社区欢迎以下类型的贡献文档改进完善README.md或添加使用示例代码优化改进量化脚本或部署流程性能测试在不同硬件配置下测试并反馈结果问题报告通过issue提交bug或功能建议 贡献流程Fork项目仓库创建特性分支git checkout -b feature/amazing-feature提交修改git commit -m Add some amazing feature推送到分支git push origin feature/amazing-feature打开Pull Request⚙️ 量化优化贡献如果你对模型量化感兴趣可以参考项目中的量化脚本README.md进行优化cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers*mlp.gate *lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj python quantize_quark.py \ --model_dir unsloth/Kimi-K2-Thinking-BF16 \ --quant_scheme mxfp4 \ --layer_quant_scheme *self_attn* ptpc_fp8 \ --exclude_layers $exclude_layers \ --output_dir amd/Kimi-K2-Thinking-MXFP4-AttnFP8 \ --file2file_quantization技术支持与资源 官方文档AMD-Quark优化工具模型量化核心工具vLLM推理引擎高性能部署解决方案 关键配置文件解析configuration_deepseek.py模型架构配置包含注意力头数、隐藏层大小等关键参数tokenizer_config.json分词器配置控制文本处理流程❓ 常见问题解决部署问题检查ROCm驱动和vLLM版本兼容性性能优化调整tensor-parallel-size参数适配不同GPU数量精度问题参考README.md中的评估方法进行验证许可协议与使用规范本项目采用Modified MIT License(LICENSE)主要修改条款如果本软件或其任何衍生作品用于月活跃用户超过1亿或月收入超过2000万美元的商业产品或服务你必须在该产品或服务的用户界面上显著显示Kimi K2。加入AMD AI优化生态AMD AI生态系统正在快速发展Kimi-K2-Thinking-MXFP4-AttnFP8作为其中的重要项目欢迎每一位开发者的参与。无论你是AI爱好者、学生还是专业开发者都可以通过贡献代码、测试反馈或文档改进等方式为AMD AI生态的发展贡献力量。让我们一起构建更高效、更开放的AI未来 【免费下载链接】Kimi-K2-Thinking-MXFP4-AttnFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考