开发者必读LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1源码结构与关键脚本解析【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1是一个基于AMD Ryzen AI平台的优化语言模型推理项目专为开发者提供高效的AI推理体验。本文将深入解析这个开源项目的源码结构帮助开发者快速理解其核心架构与关键脚本实现。 项目整体结构概览该项目采用了简洁而高效的文件组织方式主要包含以下几个核心部分├── LICENSE # 开源许可证文件 ├── README.md # 项目说明文档 ├── Run-LFM2.py # 主推理脚本 ├── ryzenai_ep_utils.py # Ryzen AI执行提供器工具类 ├── lfm2.5-1.2B-thinking-token-fusion.onnx # ONNX模型文件 ├── lfm2.5-1.2B-thinking-token-fusion.onnx.data # 模型数据文件 ├── lfm2.5-1.2B-thinking-token-fusion.pb.bin # 协议缓冲区二进制文件 ├── config.json # 模型配置文件 ├── generation_config.json # 生成配置 ├── chat_template.jinja # 聊天模板文件 ├── tokenizer.json # 分词器配置 ├── tokenizer_config.json # 分词器设置 ├── special_tokens_map.json # 特殊token映射 └── cache/ # 缓存目录 核心脚本深度解析Run-LFM2.py推理引擎核心Run-LFM2.py是整个项目的核心推理脚本负责加载模型、处理输入、执行推理循环并输出结果。这个脚本展示了如何在AMD Ryzen AI平台上高效运行大型语言模型。关键功能模块模型加载与配置支持本地模型和HuggingFace模型两种加载方式输入预处理处理聊天模板、tokenization和注意力掩码KV缓存管理高效管理注意力机制中的键值缓存推理循环实现token-by-token的生成过程性能统计计算TTFT首token时间、TPS每秒token数等关键指标核心代码片段分析# KV缓存形状计算第54行 kv_cache_shape [batch_size, rai.config.num_key_value_heads, max_sequence_length, rai.config.hidden_size // rai.config.num_attention_heads] # 推理循环第77-136行 for i in range(max_new_tokens): # 绑定输入输出 io.bind_input(input_ids, cpu, 0, np.int64, input_ids.shape, input_ids.ctypes.data) io.bind_input(attention_mask, cpu, 0, np.int64, attention_mask.shape, attention_mask.ctypes.data) # 执行推理 rai.ort_session.run_with_iobinding(io) # 生成下一个token input_ids logits[:, -1].argmax(-1, keepdimsTrue)ryzenai_ep_utils.pyAMD Ryzen AI集成工具ryzenai_ep_utils.py是专门为AMD Ryzen AI执行提供器设计的工具类封装了ONNX Runtime与Ryzen AI的集成逻辑。主要功能执行提供器注册注册RyzenAILightExecutionProvider会话配置设置内存管理、线程控制等优化参数数据类型映射处理ONNX类型与NumPy类型的转换模型加载支持本地和远程模型加载关键配置项# Ryzen AI执行提供器路径配置第16行 _EP_PATH rC:\Program Files\RyzenAI\1.7.1\deployment\onnxruntime_providers_ryzenai.dll # 性能优化配置第40-47行 so.enable_cpu_mem_arena False so.enable_mem_pattern False so.add_session_config_entry(session.use_device_allocator_for_initializers, 1) so.add_session_config_entry(custom_allocator, RMM) so.add_session_config_entry(hybrid_opt_token_backend, npu) so.add_session_config_entry(hybrid_opt_npu_pdi_name, DPU_7) 模型配置与架构解析config.json模型架构定义config.json文件定义了LFM2.5-1.2B模型的完整架构参数这是理解模型能力的关键核心参数说明hidden_size: 2048 - 隐藏层维度num_hidden_layers: 16 - 总层数num_attention_heads: 32 - 注意力头数num_key_value_heads: 8 - 键值头数GQA分组查询注意力vocab_size: 65536 - 词汇表大小layer_types: 混合层类型conv和full_attention交替混合注意力架构layer_types: [ conv, conv, full_attention, conv, conv, full_attention, conv, conv, full_attention, conv, full_attention, conv, full_attention, conv, full_attention, conv ]这种混合架构结合了卷积层的高效局部特征提取和注意力层的全局上下文理解能力。chat_template.jinja对话模板系统chat_template.jinja实现了对话模板的Jinja2模板系统支持复杂的对话格式处理主要特性系统提示支持可选的系统角色消息工具集成支持工具列表的格式化思维链处理可配置是否保留过去的思维过程多轮对话完整的对话历史管理⚡ 性能优化关键技术内存对齐优化在KV缓存管理中项目实现了512字节对齐的内存分配充分利用AVX512指令集的性能优势# 内存对齐处理第101-104行 kv_bytes math.prod(kv_cache_shape) * rai.dtype_kv_cache.itemsize buf np.empty(kv_bytes 512, dtypenp.uint8) start_index -buf.ctypes.data % 512 caches[key] buf[start_index:start_index kv_bytes].view(rai.dtype_kv_cache).reshape(kv_cache_shape)混合推理策略项目支持CPU和NPU混合推理模式通过配置可灵活选择计算后端# 混合推理配置第46-48行 so.add_session_config_entry(hybrid_opt_token_backend, npu) so.add_session_config_entry(hybrid_opt_npu_pdi_name, DPU_7)️ 开发者使用指南快速启动步骤环境准备激活Ryzen AI 1.7.1 conda环境模型准备克隆仓库并获取模型文件路径配置根据需要修改ryzenai_ep_utils.py中的_EP_PATH运行推理执行python Run-LFM2.py -m 模型路径自定义配置建议调整推理参数修改Run-LFM2.py中的max_input_tokens和max_new_tokens优化内存使用根据硬件配置调整KV缓存大小启用性能分析在ryzenai_ep_utils.py中启用性能分析选项 性能监控与调试项目内置了完善的性能监控功能# 性能统计输出第140-149行 print(fPrompt length: {prompt_tokens_len}, Generated length: {generated_tokens.shape[-1]}) ttft timings.pop(0) tps_prefill 1000.0 / (ttft / prompt_tokens_len) tps_token 1000.0 / (sum(timings) / len(timings)) peak_gb peak_bytes / (1024 * 1024 * 1024) print(fTTFT / Prefill / Token / Peak Mem: {ttft:.3f} ms / {tps_prefill:.2f} tps / {tps_token:.2f} tps / {peak_gb:.3f} GB) 扩展与定制添加新模型支持开发者可以通过以下步骤扩展对新模型的支持更新配置文件确保config.json包含正确的模型架构适配tokenizer验证分词器配置的兼容性调整推理逻辑根据模型特性修改Run-LFM2.py中的推理循环性能调优建议缓存优化利用cache目录存储预编译的推理图批处理支持扩展支持多批次并行推理量化优化探索更激进的量化策略以提升推理速度 总结LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1项目为开发者提供了一个在AMD Ryzen AI平台上高效运行大型语言模型的完整解决方案。通过深入理解其源码结构开发者可以快速集成将优化的推理引擎集成到自己的应用中性能调优根据具体需求调整推理参数和配置扩展功能基于现有架构添加新的特性和优化学习最佳实践掌握在异构计算平台上部署AI模型的技术项目的模块化设计和清晰的代码结构使其成为学习和定制AI推理系统的优秀范例。无论你是AI应用开发者、系统优化工程师还是对边缘AI推理感兴趣的研究者这个项目都提供了宝贵的参考价值。通过深入分析源码结构开发者可以更好地理解如何在AMD Ryzen AI平台上构建高效的AI推理应用为实际项目部署提供坚实的技术基础。【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考