POLARIS 环境搭建避坑指南transformers、vLLM 版本匹配与常见报错【免费下载链接】POLARISScaling RL on advanced reasoning models项目地址: https://gitcode.com/gh_mirrors/polaris34/POLARISPOLARIS 是一个基于强化学习RL扩展训练高级推理模型的开源项目在 AIME 等数学基准上表现惊人。但很多新手在搭建 POLARIS 环境时常常卡在 transformers 版本、vLLM 版本匹配和各种依赖报错上。本文为你整理一份完整的 POLARIS 环境搭建避坑指南涵盖官方推荐的版本组合、安装顺序以及训练、评估、Ray 集群中最常见的报错与解决方案帮你少走弯路。为什么 POLARIS 对版本如此敏感POLARIS 的核心训练与评估代码构建在 VeRL 之上其环境安装脚本明确指定了一组锁死的版本组合pip install -e ./verl pip install -e ./ pip install transformers4.51.0 pip install vllm0.8.4 pip install tensordict0.6.2一句话总结transformers 必须用 4.51.0vLLM 必须用 0.8.4tensordict 必须用 0.6.2。任意一个版本不匹配都可能引发模型加载、Rollout 采样或 checkpoint 转换时的诡异报错。从上图可以看出POLARIS 环境搭建并训练完成后POLARIS-4B-Preview 在 AIME25 上拿到了 79.4 分远超同基座的 Qwen3-4B65.6甚至超过了 o3-mini-high 等闭源系统——这也是为什么值得花时间把环境配好。第一步按官方顺序安装依赖最容易踩坑1. 先安装 verl 再安装项目本体正确的安装顺序是先pip install -e ./verl再pip install -e ./。如果顺序颠倒可能导致verl.trainer等模块找不到。注意 verl/setup.py 中声明了tensordict0.6.2这与 README 推荐的 0.6.2 一致建议安装后立即用pip show tensordict核对版本。2. 最后再固定 transformers 和 vLLM 版本先不要急着装最新版。pip install transformers4.51.0和pip install vllm0.8.4必须放在最后执行防止被其他依赖自动升级覆盖。vLLM 的安装体积较大首次安装建议预留足够的磁盘和耐心。3. 一定不要用 xformers 后端README 中明确提示不要使用 xformers backend。执行unset VLLM_ATTENTION_BACKEND这个环境变量需要在启动 Ray 集群的每一台机器上设置。训练脚本 stage1.sh 的注释里也专门强调vLLM 若没有正确配置注意力后端会直接报 CUDA 相关错误。常见报错一vLLM 版本与 verl 约束冲突如果你在安装 verl 时使用了[vllm]附加依赖verl/setup.py 中的约束是vllm0.8.3而 README 推荐 0.8.4。这会导致 pip 解析冲突或静默降级。解决办法安装 verl 时不要带[vllm]附加依赖安装完成后手动pip install vllm0.8.4覆盖最后用pip list | grep vllm确认最终版本。常见报错二transformers 版本过高导致模型加载失败Qwen3 系列模型对新旧 transformers 的兼容性差异很大。如果你用 transformers 4.5x 以上版本加载模型常见的报错包括KeyError: qwen3、tokenizer 的 chat template 缺失等。解决办法严格使用transformers4.51.0。如果已装高版本先pip uninstall transformers再装指定版本避免残留。常见报错三tensordict 版本不匹配tensordict 是 VeRL 数据处理链路的关键依赖。版本过新会导致torch.Tensor与TensorDict的 API 不兼容报错形如AttributeError: TensorDict object has no attribute ...。解决办法锁定tensordict0.6.2不要随意升级。常见报错四flash-attn 编译失败训练依赖 flash-attn它需要本地编译耗时较长。如果 CUDA 版本与 PyTorch 不匹配会报CUDA_HOME未设置或编译链接错误。解决办法确保 CUDA Toolkit 与 PyTorch 版本对应设置好CUDA_HOME后再安装也可以直接使用预编译 wheel 节省时间。常见报错五Ray 集群初始化与地址文件冲突多机训练基于 Ray。直接手动启动的流程是head 节点执行ray start --head其余节点执行ray start --address[RAY_ADDRESS]。项目也提供了自动化脚本 train_with_ray.pyhead 节点加--head参数其余节点不加。这里有个隐蔽的坑——脚本会把节点 IP 写入ray_address/{experiment_name}.ip如果 experiment_name 重复会直接报错提示删除该文件。解决办法更换--experiment_name或删除旧的ray_address/目录后重试。另外注意Ray 环境下pdb不可用官方建议设置trainer.debugTrue并用breakpoint()调试再配合新终端执行ray debug。常见报错六训练前忘记修改 max_position_embeddingsPOLARIS 训练时响应长度可达 4 万 token 以上训练前必须把模型 config.json 中的max_position_embeddings改为 131072。如果漏改训练到中途会出现位置编码越界报错。常见报错七评估时 OOM 或输出被截断评估阶段建议温度设为 1.4AIME25 可用 1.45响应长度上限设为 90000。POLARIS 论文指出响应长度如果低于 64K性能会明显退化。评估命令参考 eval_vllm_aime24.pypython scripts/eval/eval_vllm_aime24.py --model /path/to/model --n 32 --max_length 90000 --k 20 --t 1.4如果显存不足可降低gpu_memory_utilization默认 0.9或减小--n采样数。常见报错八checkpoint 无法直接用 transformers 加载训练产出的 VeRL checkpoint 不能直接被 transformers/vLLM 加载需要先转成 HF 格式。执行python verl/scripts/model_merger.py --local_dir /path/to/checkpoints/global_step_xxx/actor --target_dir checkpoints_hf/ckpt-4b-stage1其中 model_merger.py 同时支持 fsdp 和 megatron 两种后端转完后再用 transformers 加载验证。一份可直接照抄的最小环境清单最后总结一份经过验证的最小环境组合供你对照检查组件推荐版本备注Python 3.10项目 setup.py 要求transformers4.51.0版本过高会加载失败vLLM0.8.4与 verl 约束需手动覆盖tensordict0.6.2高于此版本 API 不兼容flash-attn最新预编译版需 CUDA 环境匹配Ray 2.10多机训练必须结语POLARIS 环境搭建的核心就三个词锁版本、按顺序、别用 xformers。只要严格遵循 README 中的安装顺序与版本组合绝大多数报错都可以在五分钟内定位。遇到新问题时优先检查pip list中的 transformers、vLLM、tensordict 三个版本是否与本文一致90% 的问题都出在这里。祝你的 POLARIS 复现之旅一路顺风【免费下载链接】POLARISScaling RL on advanced reasoning models项目地址: https://gitcode.com/gh_mirrors/polaris34/POLARIS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 POLARIS 环境搭建避坑指南：transformers、vLLM 版本匹配与常见报错
POLARIS 环境搭建避坑指南transformers、vLLM 版本匹配与常见报错【免费下载链接】POLARISScaling RL on advanced reasoning models项目地址: https://gitcode.com/gh_mirrors/polaris34/POLARISPOLARIS 是一个基于强化学习RL扩展训练高级推理模型的开源项目在 AIME 等数学基准上表现惊人。但很多新手在搭建 POLARIS 环境时常常卡在 transformers 版本、vLLM 版本匹配和各种依赖报错上。本文为你整理一份完整的 POLARIS 环境搭建避坑指南涵盖官方推荐的版本组合、安装顺序以及训练、评估、Ray 集群中最常见的报错与解决方案帮你少走弯路。为什么 POLARIS 对版本如此敏感POLARIS 的核心训练与评估代码构建在 VeRL 之上其环境安装脚本明确指定了一组锁死的版本组合pip install -e ./verl pip install -e ./ pip install transformers4.51.0 pip install vllm0.8.4 pip install tensordict0.6.2一句话总结transformers 必须用 4.51.0vLLM 必须用 0.8.4tensordict 必须用 0.6.2。任意一个版本不匹配都可能引发模型加载、Rollout 采样或 checkpoint 转换时的诡异报错。从上图可以看出POLARIS 环境搭建并训练完成后POLARIS-4B-Preview 在 AIME25 上拿到了 79.4 分远超同基座的 Qwen3-4B65.6甚至超过了 o3-mini-high 等闭源系统——这也是为什么值得花时间把环境配好。第一步按官方顺序安装依赖最容易踩坑1. 先安装 verl 再安装项目本体正确的安装顺序是先pip install -e ./verl再pip install -e ./。如果顺序颠倒可能导致verl.trainer等模块找不到。注意 verl/setup.py 中声明了tensordict0.6.2这与 README 推荐的 0.6.2 一致建议安装后立即用pip show tensordict核对版本。2. 最后再固定 transformers 和 vLLM 版本先不要急着装最新版。pip install transformers4.51.0和pip install vllm0.8.4必须放在最后执行防止被其他依赖自动升级覆盖。vLLM 的安装体积较大首次安装建议预留足够的磁盘和耐心。3. 一定不要用 xformers 后端README 中明确提示不要使用 xformers backend。执行unset VLLM_ATTENTION_BACKEND这个环境变量需要在启动 Ray 集群的每一台机器上设置。训练脚本 stage1.sh 的注释里也专门强调vLLM 若没有正确配置注意力后端会直接报 CUDA 相关错误。常见报错一vLLM 版本与 verl 约束冲突如果你在安装 verl 时使用了[vllm]附加依赖verl/setup.py 中的约束是vllm0.8.3而 README 推荐 0.8.4。这会导致 pip 解析冲突或静默降级。解决办法安装 verl 时不要带[vllm]附加依赖安装完成后手动pip install vllm0.8.4覆盖最后用pip list | grep vllm确认最终版本。常见报错二transformers 版本过高导致模型加载失败Qwen3 系列模型对新旧 transformers 的兼容性差异很大。如果你用 transformers 4.5x 以上版本加载模型常见的报错包括KeyError: qwen3、tokenizer 的 chat template 缺失等。解决办法严格使用transformers4.51.0。如果已装高版本先pip uninstall transformers再装指定版本避免残留。常见报错三tensordict 版本不匹配tensordict 是 VeRL 数据处理链路的关键依赖。版本过新会导致torch.Tensor与TensorDict的 API 不兼容报错形如AttributeError: TensorDict object has no attribute ...。解决办法锁定tensordict0.6.2不要随意升级。常见报错四flash-attn 编译失败训练依赖 flash-attn它需要本地编译耗时较长。如果 CUDA 版本与 PyTorch 不匹配会报CUDA_HOME未设置或编译链接错误。解决办法确保 CUDA Toolkit 与 PyTorch 版本对应设置好CUDA_HOME后再安装也可以直接使用预编译 wheel 节省时间。常见报错五Ray 集群初始化与地址文件冲突多机训练基于 Ray。直接手动启动的流程是head 节点执行ray start --head其余节点执行ray start --address[RAY_ADDRESS]。项目也提供了自动化脚本 train_with_ray.pyhead 节点加--head参数其余节点不加。这里有个隐蔽的坑——脚本会把节点 IP 写入ray_address/{experiment_name}.ip如果 experiment_name 重复会直接报错提示删除该文件。解决办法更换--experiment_name或删除旧的ray_address/目录后重试。另外注意Ray 环境下pdb不可用官方建议设置trainer.debugTrue并用breakpoint()调试再配合新终端执行ray debug。常见报错六训练前忘记修改 max_position_embeddingsPOLARIS 训练时响应长度可达 4 万 token 以上训练前必须把模型 config.json 中的max_position_embeddings改为 131072。如果漏改训练到中途会出现位置编码越界报错。常见报错七评估时 OOM 或输出被截断评估阶段建议温度设为 1.4AIME25 可用 1.45响应长度上限设为 90000。POLARIS 论文指出响应长度如果低于 64K性能会明显退化。评估命令参考 eval_vllm_aime24.pypython scripts/eval/eval_vllm_aime24.py --model /path/to/model --n 32 --max_length 90000 --k 20 --t 1.4如果显存不足可降低gpu_memory_utilization默认 0.9或减小--n采样数。常见报错八checkpoint 无法直接用 transformers 加载训练产出的 VeRL checkpoint 不能直接被 transformers/vLLM 加载需要先转成 HF 格式。执行python verl/scripts/model_merger.py --local_dir /path/to/checkpoints/global_step_xxx/actor --target_dir checkpoints_hf/ckpt-4b-stage1其中 model_merger.py 同时支持 fsdp 和 megatron 两种后端转完后再用 transformers 加载验证。一份可直接照抄的最小环境清单最后总结一份经过验证的最小环境组合供你对照检查组件推荐版本备注Python 3.10项目 setup.py 要求transformers4.51.0版本过高会加载失败vLLM0.8.4与 verl 约束需手动覆盖tensordict0.6.2高于此版本 API 不兼容flash-attn最新预编译版需 CUDA 环境匹配Ray 2.10多机训练必须结语POLARIS 环境搭建的核心就三个词锁版本、按顺序、别用 xformers。只要严格遵循 README 中的安装顺序与版本组合绝大多数报错都可以在五分钟内定位。遇到新问题时优先检查pip list中的 transformers、vLLM、tensordict 三个版本是否与本文一致90% 的问题都出在这里。祝你的 POLARIS 复现之旅一路顺风【免费下载链接】POLARISScaling RL on advanced reasoning models项目地址: https://gitcode.com/gh_mirrors/polaris34/POLARIS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考