RWKV模型转.st格式全攻略2种方法把.pth模型无缝接入Ai00免装Python【免费下载链接】ai00_rwkv_serverThe all-in-one RWKV runtime box with embed, RAG, AI agents, and more.项目地址: https://gitcode.com/gh_mirrors/ai/ai00_rwkv_serverAi00 是一款基于 Rust Vulkan 的开源 RWKV 模型推理引擎只支持.stSafeTensors格式的 RWKV 模型而 RWKV 官方发布的模型多为.pthPyTorch格式。本文手把手教你把.pth模型转换成.st格式并接入 Ai00方法一用官方 Python 脚本转换方法二用 Ai00 内置的 Rust 转换工具免装 Python全程只需 3 步附常见问题解答新手也能一次跑通。为什么Ai00只认.st格式.pth是 PyTorch 的模型文件格式依赖 Python 运行时而 Ai00 追求纯本地、无 Python 依赖的高性能推理因此采用.stSafeTensors格式——它零拷贝加载更快也不存在 PyTorch 反序列化安全风险。好消息是转换只需一次。转换后的.st文件与.state状态文件一起放在assets/models/目录即可效果如下 如果不想自己动手也可以直接下载他人转换好的.st模型参考 docs/doc-models/models-name.md 中的模型命名规范。方法一用官方Python脚本转换.pth模型适合已有 Python 环境的用户。Ai00 内置了官方转换脚本 convert_safetensors.py自动完成版本号识别、键名重命名与矩阵转置并输出 FP16 精度的.st文件。步骤1️⃣ 安装依赖torch、safetensors 等依赖清单见 assets/scripts/requirements.txtpip install -r assets/scripts/requirements.txt2️⃣ 执行转换自动检测 RWKV 版本如 v5/v6python assets/scripts/convert_safetensors.py \ --input RWKV-x060-World-3B-v2.1-20240417-ctx4096.pth \ --output RWKV-x060-World-3B-v2.1-20240417-ctx4096.st3️⃣ 看到Model detected: v6.0和Saved to xxx.st即转换成功 ✅方法二用内置Rust转换工具免装Python适合不想装 Python的用户。Ai00 在 crates/converter/ 目录内置了一个纯 Rust 的转换工具 main.rs核心逻辑与 Python 脚本一致键名重命名 矩阵转置只需一台装有 Rust 编译器的机器。步骤1️⃣ 克隆仓库并进入 converter 目录git clone https://gitcode.com/gh_mirrors/ai/ai00_rwkv_server cd ai00_rwkv_server/crates/converter2️⃣ 编译并转换-i为输入.pth文件-o可选默认输出同名.stcargo run --release -- -i RWKV-x060-World-3B-v2.1-20240417-ctx4096.pth3️⃣ 完成后.pth同目录下会生成同名.st文件无需任何 Python 环境 转换后3步把.st模型接入Ai00第 1 步下载 Ai00 预编译包按系统选择对应包名详见 docs/doc-guide/release.md第 2 步放置模型文件——把.st模型放入解压后的assets/models/目录并修改 Config.toml 中的模型配置参数详解见 docs/doc-guide/config.md[model] name RWKV-x060-World-3B-v2.1-20240417-ctx4096.st # 填你的.st文件名 path assets/models # 模型存放路径第 3 步启动并验证——运行 Ai00 可执行文件在终端日志中看到model reloaded即表示.st模型加载成功随后打开浏览器访问 WebUI默认http://localhost:65530即可开始与 RWKV 模型对话。常见问题FAQQ转换前后模型效果会变吗不会。.st与.pth只是格式不同权重数值一致且统一以 FP16 精度存储。Q.st 和 .state 有什么区别.st是模型权重文件.state是 RWKV 的隐藏状态文件用于微调模型的行为风格如强化中文单轮问答两者不可互相替代。命名规范详见 docs/doc-models/state-model.md。Q支持哪些 RWKV 版本两种方法均可自动识别 RWKV 4/5/6 等架构版本转换日志会打印检测到的版本号推荐使用 RWKV-6x060系列模型。Q转换报错或想换更简单的方案直接下载社区已转换好的.st模型跳过转换步骤放入assets/models/后即可使用。总结有 Python 用方法一想省事装 Rust 工具用方法二或直接用现成.st模型3 步接入 Ai00即可在本地以 Vulkan 加速流畅运行 RWKV 模型。【免费下载链接】ai00_rwkv_serverThe all-in-one RWKV runtime box with embed, RAG, AI agents, and more.项目地址: https://gitcode.com/gh_mirrors/ai/ai00_rwkv_server创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RWKV模型转.st格式全攻略：2种方法把.pth模型无缝接入Ai00，免装Python
RWKV模型转.st格式全攻略2种方法把.pth模型无缝接入Ai00免装Python【免费下载链接】ai00_rwkv_serverThe all-in-one RWKV runtime box with embed, RAG, AI agents, and more.项目地址: https://gitcode.com/gh_mirrors/ai/ai00_rwkv_serverAi00 是一款基于 Rust Vulkan 的开源 RWKV 模型推理引擎只支持.stSafeTensors格式的 RWKV 模型而 RWKV 官方发布的模型多为.pthPyTorch格式。本文手把手教你把.pth模型转换成.st格式并接入 Ai00方法一用官方 Python 脚本转换方法二用 Ai00 内置的 Rust 转换工具免装 Python全程只需 3 步附常见问题解答新手也能一次跑通。为什么Ai00只认.st格式.pth是 PyTorch 的模型文件格式依赖 Python 运行时而 Ai00 追求纯本地、无 Python 依赖的高性能推理因此采用.stSafeTensors格式——它零拷贝加载更快也不存在 PyTorch 反序列化安全风险。好消息是转换只需一次。转换后的.st文件与.state状态文件一起放在assets/models/目录即可效果如下 如果不想自己动手也可以直接下载他人转换好的.st模型参考 docs/doc-models/models-name.md 中的模型命名规范。方法一用官方Python脚本转换.pth模型适合已有 Python 环境的用户。Ai00 内置了官方转换脚本 convert_safetensors.py自动完成版本号识别、键名重命名与矩阵转置并输出 FP16 精度的.st文件。步骤1️⃣ 安装依赖torch、safetensors 等依赖清单见 assets/scripts/requirements.txtpip install -r assets/scripts/requirements.txt2️⃣ 执行转换自动检测 RWKV 版本如 v5/v6python assets/scripts/convert_safetensors.py \ --input RWKV-x060-World-3B-v2.1-20240417-ctx4096.pth \ --output RWKV-x060-World-3B-v2.1-20240417-ctx4096.st3️⃣ 看到Model detected: v6.0和Saved to xxx.st即转换成功 ✅方法二用内置Rust转换工具免装Python适合不想装 Python的用户。Ai00 在 crates/converter/ 目录内置了一个纯 Rust 的转换工具 main.rs核心逻辑与 Python 脚本一致键名重命名 矩阵转置只需一台装有 Rust 编译器的机器。步骤1️⃣ 克隆仓库并进入 converter 目录git clone https://gitcode.com/gh_mirrors/ai/ai00_rwkv_server cd ai00_rwkv_server/crates/converter2️⃣ 编译并转换-i为输入.pth文件-o可选默认输出同名.stcargo run --release -- -i RWKV-x060-World-3B-v2.1-20240417-ctx4096.pth3️⃣ 完成后.pth同目录下会生成同名.st文件无需任何 Python 环境 转换后3步把.st模型接入Ai00第 1 步下载 Ai00 预编译包按系统选择对应包名详见 docs/doc-guide/release.md第 2 步放置模型文件——把.st模型放入解压后的assets/models/目录并修改 Config.toml 中的模型配置参数详解见 docs/doc-guide/config.md[model] name RWKV-x060-World-3B-v2.1-20240417-ctx4096.st # 填你的.st文件名 path assets/models # 模型存放路径第 3 步启动并验证——运行 Ai00 可执行文件在终端日志中看到model reloaded即表示.st模型加载成功随后打开浏览器访问 WebUI默认http://localhost:65530即可开始与 RWKV 模型对话。常见问题FAQQ转换前后模型效果会变吗不会。.st与.pth只是格式不同权重数值一致且统一以 FP16 精度存储。Q.st 和 .state 有什么区别.st是模型权重文件.state是 RWKV 的隐藏状态文件用于微调模型的行为风格如强化中文单轮问答两者不可互相替代。命名规范详见 docs/doc-models/state-model.md。Q支持哪些 RWKV 版本两种方法均可自动识别 RWKV 4/5/6 等架构版本转换日志会打印检测到的版本号推荐使用 RWKV-6x060系列模型。Q转换报错或想换更简单的方案直接下载社区已转换好的.st模型跳过转换步骤放入assets/models/后即可使用。总结有 Python 用方法一想省事装 Rust 工具用方法二或直接用现成.st模型3 步接入 Ai00即可在本地以 Vulkan 加速流畅运行 RWKV 模型。【免费下载链接】ai00_rwkv_serverThe all-in-one RWKV runtime box with embed, RAG, AI agents, and more.项目地址: https://gitcode.com/gh_mirrors/ai/ai00_rwkv_server创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考