【免费下载链接】Llama-3.2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K点击查看免费下载本文带你逐文件读懂Llama-3.2-1B_rai_1.8.0_npu_16K 的目录结构。这是 AMD 官方为Ryzen AI NPU 优化部署的 Llama-3.2-1B 模型仓库基于 Quark 量化AWQ / UINT4 / Group 128 OGA Model Builder 构建支持16K 上下文Token Fusion 16K。读懂 model.onnx、model.pb.bin、model.onnx.data 和一堆dd_metastate_*文件的来历你就掌握了 ONNX NPU 部署包的完整逻辑。 目录结构一览先建立全局地图整个仓库可以分为 5 类文件模型二进制、NPU 元数据、配置文件、分词器文件、许可与说明。文件真实大小作用model.onnx~323 KBONNX 计算图结构定义权重已外置model.onnx.data~559 MB外置权重数据UINT4 量化权重 缩放因子model.pb.bin~5.7 KBprotobuf 二进制供 RyzenAI NPU 后端加载model.bin~690 MB量化权重的完整二进制快照dd_metastate_*23 个各 128~134 BNPU 算子融合状态/控制包元数据config.json3 KB模型结构 AWQ 量化配置genai_config.json2.1 KBONNX Runtime GenAI 推理/搜索参数generation_config.json180 B采样参数temperature 0.6、top_p 0.9params.json220 BLLaMA 风格结构参数rai_config.json230 B各 Ryzen AI SDK 版本的最大 prompt 长度tokenizer.json / tokenizer.model17.2 MB / 1.1 MBSentencePiece 分词表双格式tokenizer_config.json / special_tokens_map.json52 KB / 230 B分词器配置与特殊 tokenREADME.md / LICENSE.txt / USE_POLICY.md—说明、MIT 许可、Llama 3.2 使用政策cache/~634 KBNPU 运行时算子缓存meta.json txn_bins.zip 核心模型文件model.onnx、model.onnx.data、model.pb.bin、model.binmodel.onnx —— ONNX 计算图骨架文件model.onnx 只有约 323 KB因为权重被剥离到外部文件了ONNX 的 external data 机制。它保存的是计算图结构16 层 Transformer、32 个注意力头、8 个 KV 头GQA、RMSNorm、RoPE 等算子的连接方式。在 genai_config.json 中可以看到它被注册为解码器主文件filename: model.onnx输入为input_ids、attention_mask、position_ids以及 16 层的past_key_values.%d.key/value输出logits与新的 KV Cache——这是标准 ONNX Runtime GenAI 解码器布局。model.onnx.data —— 真正的大脑外置量化权重model.onnx.data 约 559 MB是 ORT 外部数据文件ORTEX 格式存放从图中剥离的全部权重。由于采用了AWQ / UINT4 / Group 128 非对称量化见 config.json 的quantization_config1B 参数的权重被压缩到约 0.5 字节/参数这正是文件如此紧凑的原因。model.pb.bin —— NPU 后端加载的 protobuf 二进制model.pb.bin 只有 5.7 KB它不是权重而是protobuf 序列化格式的图/元数据二进制。关键线索在 genai_config.json 的 RyzenAI provider 选项里RyzenAI: { hybrid_opt_token_backend: npu, external_data_file: model.pb.bin, hybrid_opt_max_seq_length: 4096 }external_data_file指向它说明这是RyzenAI NPU 执行路径在混合调度CPU NPU时加载的配套二进制。你可以把它理解为ONNX 图交给 NPU 跑时的那份翻译版图纸。model.bin —— 量化权重的完整二进制快照model.bin 约 690 MB是模型权重的完整二进制快照uint4 权重 缩放因子等比model.onnx.data略大通常作为部署后处理与校验环节的权威权重来源。三者关系可以概括为model.bin权重全集→ 打包进model.onnxmodel.onnx.dataORT 推理→ 配model.pb.binNPU 后端。⚡ dd_metastate 文件是什么NPU 算子融合的状态备忘目录里有 23 个dd_metastate_*文件例如dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_attention_mask_padded_256_.meta dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_attention_mask_padded_16384_.ctrlpkt它们都是百字节级别的元数据可拆解为 3 段来读Llm_Token—— NPU 上执行的算子名Token 指逐 token 解码阶段Token Fusionmodellayers.0input_layernormMLADFRMSNORM—— 被融合的算子子图名第 0 层的 input_layernorm 注意力DFR RMSNorm 融合块attention_mask_padded_N—— 按序列长度 256、512、1024、2048、3072、4096、16384 分档预编译正好覆盖仓库名中的16K 上下文。后缀含义.meta是元数据描述.ctrlpkt是 NPU 控制包kernel 启动/调度控制信息.state/.fconst是算子状态与浮点常量.super是 0 字节占位文件。这些文件由 OGA Model Builder 的后处理阶段生成作用是让 NPU 在对应序列长度下直接复用预编译好的算子状态跳过重复编译——这也是本仓库16K命名的技术底座。⚙️ 配置文件速览从量化参数到采样温度config.json —— 结构与量化配置config.json 是 Hugging Face 标准配置LlamaForCausalLMhidden_size2048、16 层、词表 128256、max_position_embeddings131072。核心是quantization_config块quant_method: quark—— 使用 Quark 量化框架权重dtype: uint4、group_size: 128、qscheme: per_group、symmetric: falseAWQ 非对称组量化scaling_layers定义了 q/k/v、o、gate/up、down 各组投影的量化输入来源genai_config.json —— NPU 推理与生成参数genai_config.json 决定实际推理行为上下文长度 131072、max_length16384对应 16K 部署目标、chunk_size4096prefill 分块大小、温度 0.6、top_k 50、top_p 0.9。RyzenAI provider 选项中的hybrid_opt_max_seq_length: 4096表示 NPU 混合优化按 4096 为步长分档处理。rai_config.json 与 params.jsonrai_config.json 按 Ryzen AI SDK 版本限制最大 prompt1.3.1~1.5.1 为 20481.6.0 起放宽到 4096params.json 则是 LLaMA 风格的结构参数dim: 2048、n_layers: 16、rope_theta: 500000.0方便工具链快速读取模型规格。 分词器文件四个文件各司其职tokenizer.json17.2 MB分词表的 JSON 完整表示含 12.8 万词表条目tokenizer.model1.1 MBSentencePiece 原生格式二者是同一分词表的双格式tokenizer_config.jsonadded_tokens_decoder定义了|begin_of_text|128000、|end_of_text|128001等特殊 token 的行为special_tokens_map.jsonbos/eos 特殊 token 的简短映射 其余文件与 cache 目录cache/NPU 运行时算子缓存含算子元数据Token_modellayers.0input_layernormMLADFRMSNORM_meta.json~634 KB与 LFS 文件txn_bins.zip。推理运行时可据此加速算子加载LICENSE.txtMIT 许可AMD 2025 修改版USE_POLICY.mdLlama 3.2 可接受使用政策禁止用途清单README.md项目说明——源模型、量化策略AWQ / Group 128 / Asymmetric / BFP16 激活 / UINT4 权重、快速上手指引❓ 常见问题为什么克隆下来文件只有几十字节如果你发现 model.bin、model.onnx.data 等文件只有 130 多字节不是文件损坏——它们通过Git LFS存储仓库里只保存了指针oidsize。真实数据在 LFS 服务器上。正确拉取方式git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K.git git lfs pull拉取后即可看到model.bin恢复到 ~690 MB、model.onnx.data恢复到 ~559 MB。若磁盘空间紧张只需保证模型二进制完整dd_metastate_*与cache/属于运行期元数据缺失时可由 OGA 工具链重新生成。 一句话总结你想知道的答案model.onnxONNX 计算图骨架权重外置model.onnx.dataUINT4 量化权重实体~559 MBmodel.pb.binRyzenAI NPU 后端加载的 protobuf 图纸model.bin量化权重完整快照~690 MBdd_metastate_*NPU 算子融合状态/控制包按 256~16384 七档序列长度预编译支撑 16K 上下文按这份清单对照仓库文件你就能快速判断部署包是否完整、NPU 加速链路各组件是否就位。赞分享【免费下载链接】Llama-3.2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K点击查看免费下载相关推荐Cuckoo Sandbox 分析结果详解storage/analyses 目录结构与产物文件逐项剖析Cuckoo Sandbox 分析结果详解storage/analyses 目录结构与产物文件逐项剖析 分析完成后Cuckoo Sandbox 会把全部产物网络安全应用安全CANN Runtime TE 融合错误码 E40001 排查指南环境变量无效Invalid Environment Variable的识别与修复CANN Runtime TE 融合错误码 E40001 排查指南环境变量无效Invalid Environment Variable的识别与修复 导读StaffML Vault 语料库 Schema 与文件夹结构审计为什么扁平目录与 track-NNNN 标识是正确选择StaffML Vault 语料库 Schema 与文件夹结构审计为什么扁平目录与 track NNNN 标识是正确选择 本篇技术指南基于 intervie文档教程人工智能机器学习教育创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Llama-3.2-1B_rai_1.8.0_npu_16K目录结构逐文件详解：model.onnx、model.pb.bin与dd_metastate文件都是什么？
【免费下载链接】Llama-3.2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K点击查看免费下载本文带你逐文件读懂Llama-3.2-1B_rai_1.8.0_npu_16K 的目录结构。这是 AMD 官方为Ryzen AI NPU 优化部署的 Llama-3.2-1B 模型仓库基于 Quark 量化AWQ / UINT4 / Group 128 OGA Model Builder 构建支持16K 上下文Token Fusion 16K。读懂 model.onnx、model.pb.bin、model.onnx.data 和一堆dd_metastate_*文件的来历你就掌握了 ONNX NPU 部署包的完整逻辑。 目录结构一览先建立全局地图整个仓库可以分为 5 类文件模型二进制、NPU 元数据、配置文件、分词器文件、许可与说明。文件真实大小作用model.onnx~323 KBONNX 计算图结构定义权重已外置model.onnx.data~559 MB外置权重数据UINT4 量化权重 缩放因子model.pb.bin~5.7 KBprotobuf 二进制供 RyzenAI NPU 后端加载model.bin~690 MB量化权重的完整二进制快照dd_metastate_*23 个各 128~134 BNPU 算子融合状态/控制包元数据config.json3 KB模型结构 AWQ 量化配置genai_config.json2.1 KBONNX Runtime GenAI 推理/搜索参数generation_config.json180 B采样参数temperature 0.6、top_p 0.9params.json220 BLLaMA 风格结构参数rai_config.json230 B各 Ryzen AI SDK 版本的最大 prompt 长度tokenizer.json / tokenizer.model17.2 MB / 1.1 MBSentencePiece 分词表双格式tokenizer_config.json / special_tokens_map.json52 KB / 230 B分词器配置与特殊 tokenREADME.md / LICENSE.txt / USE_POLICY.md—说明、MIT 许可、Llama 3.2 使用政策cache/~634 KBNPU 运行时算子缓存meta.json txn_bins.zip 核心模型文件model.onnx、model.onnx.data、model.pb.bin、model.binmodel.onnx —— ONNX 计算图骨架文件model.onnx 只有约 323 KB因为权重被剥离到外部文件了ONNX 的 external data 机制。它保存的是计算图结构16 层 Transformer、32 个注意力头、8 个 KV 头GQA、RMSNorm、RoPE 等算子的连接方式。在 genai_config.json 中可以看到它被注册为解码器主文件filename: model.onnx输入为input_ids、attention_mask、position_ids以及 16 层的past_key_values.%d.key/value输出logits与新的 KV Cache——这是标准 ONNX Runtime GenAI 解码器布局。model.onnx.data —— 真正的大脑外置量化权重model.onnx.data 约 559 MB是 ORT 外部数据文件ORTEX 格式存放从图中剥离的全部权重。由于采用了AWQ / UINT4 / Group 128 非对称量化见 config.json 的quantization_config1B 参数的权重被压缩到约 0.5 字节/参数这正是文件如此紧凑的原因。model.pb.bin —— NPU 后端加载的 protobuf 二进制model.pb.bin 只有 5.7 KB它不是权重而是protobuf 序列化格式的图/元数据二进制。关键线索在 genai_config.json 的 RyzenAI provider 选项里RyzenAI: { hybrid_opt_token_backend: npu, external_data_file: model.pb.bin, hybrid_opt_max_seq_length: 4096 }external_data_file指向它说明这是RyzenAI NPU 执行路径在混合调度CPU NPU时加载的配套二进制。你可以把它理解为ONNX 图交给 NPU 跑时的那份翻译版图纸。model.bin —— 量化权重的完整二进制快照model.bin 约 690 MB是模型权重的完整二进制快照uint4 权重 缩放因子等比model.onnx.data略大通常作为部署后处理与校验环节的权威权重来源。三者关系可以概括为model.bin权重全集→ 打包进model.onnxmodel.onnx.dataORT 推理→ 配model.pb.binNPU 后端。⚡ dd_metastate 文件是什么NPU 算子融合的状态备忘目录里有 23 个dd_metastate_*文件例如dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_attention_mask_padded_256_.meta dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_attention_mask_padded_16384_.ctrlpkt它们都是百字节级别的元数据可拆解为 3 段来读Llm_Token—— NPU 上执行的算子名Token 指逐 token 解码阶段Token Fusionmodellayers.0input_layernormMLADFRMSNORM—— 被融合的算子子图名第 0 层的 input_layernorm 注意力DFR RMSNorm 融合块attention_mask_padded_N—— 按序列长度 256、512、1024、2048、3072、4096、16384 分档预编译正好覆盖仓库名中的16K 上下文。后缀含义.meta是元数据描述.ctrlpkt是 NPU 控制包kernel 启动/调度控制信息.state/.fconst是算子状态与浮点常量.super是 0 字节占位文件。这些文件由 OGA Model Builder 的后处理阶段生成作用是让 NPU 在对应序列长度下直接复用预编译好的算子状态跳过重复编译——这也是本仓库16K命名的技术底座。⚙️ 配置文件速览从量化参数到采样温度config.json —— 结构与量化配置config.json 是 Hugging Face 标准配置LlamaForCausalLMhidden_size2048、16 层、词表 128256、max_position_embeddings131072。核心是quantization_config块quant_method: quark—— 使用 Quark 量化框架权重dtype: uint4、group_size: 128、qscheme: per_group、symmetric: falseAWQ 非对称组量化scaling_layers定义了 q/k/v、o、gate/up、down 各组投影的量化输入来源genai_config.json —— NPU 推理与生成参数genai_config.json 决定实际推理行为上下文长度 131072、max_length16384对应 16K 部署目标、chunk_size4096prefill 分块大小、温度 0.6、top_k 50、top_p 0.9。RyzenAI provider 选项中的hybrid_opt_max_seq_length: 4096表示 NPU 混合优化按 4096 为步长分档处理。rai_config.json 与 params.jsonrai_config.json 按 Ryzen AI SDK 版本限制最大 prompt1.3.1~1.5.1 为 20481.6.0 起放宽到 4096params.json 则是 LLaMA 风格的结构参数dim: 2048、n_layers: 16、rope_theta: 500000.0方便工具链快速读取模型规格。 分词器文件四个文件各司其职tokenizer.json17.2 MB分词表的 JSON 完整表示含 12.8 万词表条目tokenizer.model1.1 MBSentencePiece 原生格式二者是同一分词表的双格式tokenizer_config.jsonadded_tokens_decoder定义了|begin_of_text|128000、|end_of_text|128001等特殊 token 的行为special_tokens_map.jsonbos/eos 特殊 token 的简短映射 其余文件与 cache 目录cache/NPU 运行时算子缓存含算子元数据Token_modellayers.0input_layernormMLADFRMSNORM_meta.json~634 KB与 LFS 文件txn_bins.zip。推理运行时可据此加速算子加载LICENSE.txtMIT 许可AMD 2025 修改版USE_POLICY.mdLlama 3.2 可接受使用政策禁止用途清单README.md项目说明——源模型、量化策略AWQ / Group 128 / Asymmetric / BFP16 激活 / UINT4 权重、快速上手指引❓ 常见问题为什么克隆下来文件只有几十字节如果你发现 model.bin、model.onnx.data 等文件只有 130 多字节不是文件损坏——它们通过Git LFS存储仓库里只保存了指针oidsize。真实数据在 LFS 服务器上。正确拉取方式git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K.git git lfs pull拉取后即可看到model.bin恢复到 ~690 MB、model.onnx.data恢复到 ~559 MB。若磁盘空间紧张只需保证模型二进制完整dd_metastate_*与cache/属于运行期元数据缺失时可由 OGA 工具链重新生成。 一句话总结你想知道的答案model.onnxONNX 计算图骨架权重外置model.onnx.dataUINT4 量化权重实体~559 MBmodel.pb.binRyzenAI NPU 后端加载的 protobuf 图纸model.bin量化权重完整快照~690 MBdd_metastate_*NPU 算子融合状态/控制包按 256~16384 七档序列长度预编译支撑 16K 上下文按这份清单对照仓库文件你就能快速判断部署包是否完整、NPU 加速链路各组件是否就位。赞分享【免费下载链接】Llama-3.2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B_rai_1.8.0_npu_16K点击查看免费下载相关推荐Cuckoo Sandbox 分析结果详解storage/analyses 目录结构与产物文件逐项剖析Cuckoo Sandbox 分析结果详解storage/analyses 目录结构与产物文件逐项剖析 分析完成后Cuckoo Sandbox 会把全部产物网络安全应用安全CANN Runtime TE 融合错误码 E40001 排查指南环境变量无效Invalid Environment Variable的识别与修复CANN Runtime TE 融合错误码 E40001 排查指南环境变量无效Invalid Environment Variable的识别与修复 导读StaffML Vault 语料库 Schema 与文件夹结构审计为什么扁平目录与 track-NNNN 标识是正确选择StaffML Vault 语料库 Schema 与文件夹结构审计为什么扁平目录与 track NNNN 标识是正确选择 本篇技术指南基于 intervie文档教程人工智能机器学习教育创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考