Skywork-OR1完整指南如何配置和使用32B与7B数学代码推理模型【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1Skywork-OR1是一个基于强化学习的数学和代码推理模型旨在释放强化学习在数学和代码推理领域的强大能力。本指南将详细介绍如何配置和使用Skywork-OR1的32B与7B模型帮助新手和普通用户快速上手。模型概述32B与7B的强大能力Skywork-OR1提供了32B和7B两种不同规模的模型以满足不同场景的需求。32B模型在数学和代码推理任务中表现出更高的准确性而7B模型则更加轻量高效适合资源有限的环境。Skywork-OR1 32B模型在AIME 2024、AIME 2025和LiveCodeBench数据集上的评估结果展示了其在数学和代码推理任务中的卓越性能。32B模型性能优势32B模型在多个评估数据集上均表现出领先优势。在AIME 2024数据集上Skywork-OR1-32B的准确率达到82.2%超过了DeepSeek-R1、QWQ-32B和Qwen3-32B等对比模型。在AIME 2025和LiveCodeBench数据集上32B模型也保持了较高的准确率。Skywork-OR1 32B模型在AIME24和AIME25数据集上的训练性能曲线展示了模型随训练步数的性能提升。7B模型高效表现7B模型虽然规模较小但在数学推理任务中依然表现出色。Skywork-OR1-7B在AIME 2024数据集上的准确率达到70.2%与其他7B规模的模型相比具有明显优势。此外还有专门优化的Skywork-OR1-MATH-7B模型进一步提升了数学推理能力。Skywork-OR1 7B模型在AIME 2024、AIME 2025和LiveCodeBench数据集上的评估结果展示了其在资源受限情况下的高效性能。安装与环境配置准备工作在开始使用Skywork-OR1之前需要确保系统满足以下要求支持NVIDIA GPU的Linux系统安装Docker足够的存储空间建议至少100GB使用Docker镜像安装推荐使用Docker镜像来快速部署Skywork-OR1环境。官方提供的Docker镜像包含了所有必要的依赖项简化了安装过程。拉取Docker镜像docker pull verlai/verl:vemlp-th2.4.0-cu124-vllm0.6.3-ray2.10-te1.7-v0.0.3运行Docker容器docker run --runtimenvidia -it --rm --shm-size10g --cap-addSYS_ADMIN -v your_data_path:/data verlai/verl:vemlp-th2.4.0-cu124-vllm0.6.3-ray2.10-te1.7-v0.0.3在容器内安装verlgit clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1 cd Skywork-OR1 pip3 install -e .从源码安装如果需要自定义配置可以从源码安装Skywork-OR1克隆仓库git clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1 cd Skywork-OR1安装依赖pip3 install -e .安装额外依赖如TransformerEnginepip3 install githttps://github.com/NVIDIA/TransformerEngine.gitv1.77B模型配置与使用模型下载7B模型可以通过Hugging Face Hub下载。以DeepSeek-LLM-7B-Chat为例huggingface-cli download deepseek-ai/deepseek-llm-7b-chat --local-dir $HOME/models/deepseek-llm-7b-chat运行推理示例Skywork-OR1提供了多个推理示例脚本可以直接运行或作为参考进行修改。数学推理示例使用examples/generation/run_deepseek_v2_lite_math.sh脚本运行数学推理cd examples/generation bash run_deepseek_v2_lite_math.sh该脚本会加载预训练的7B模型并对数学问题进行推理。可以通过修改脚本中的参数来调整推理配置如模型路径、输入文件等。代码推理示例使用examples/ppo_trainer/run_deepseek7b_llm.sh脚本运行代码推理cd examples/ppo_trainer bash run_deepseek7b_llm.sh该脚本配置了代码推理所需的参数包括模型路径、推理长度等。模型训练如果需要对7B模型进行微调可以使用SFT监督微调脚本。以GSM8K数据集为例cd examples/sft/gsm8k bash run_gemma_7b.sh 8 $HOME/models/gsm8k-sft-gemma-7b该脚本会使用Gemma-7B模型在GSM8K数学数据集上进行微调训练完成后模型会保存到指定路径。Skywork-OR1-Math-7B模型在AIME24数据集上的多阶段训练性能曲线展示了不同序列长度下模型的准确率变化。32B模型配置与使用数据准备32B模型的训练需要特定格式的数据。可以使用or1_scripts/data_preprocess/download_and_filter_data_32b.py脚本下载和预处理数据cd or1_scripts/data_preprocess python download_and_filter_data_32b.py预处理后的训练数据会保存在or1_data/train目录下包括代码和数学相关的训练数据。训练脚本32B模型的训练脚本位于or1_scripts/train目录下提供了不同序列长度的训练配置32b_8k.sh8K序列长度训练32b_16k.sh16K序列长度训练32b_32k.sh32K序列长度训练以32K序列长度训练为例cd or1_scripts/train bash 32b_32k.sh该脚本会加载预处理后的训练数据并启动32B模型的训练过程。训练参数可以根据需求进行调整如学习率、批大小等。推理配置32B模型的推理配置与7B类似但需要更多的计算资源。建议在具有足够GPU内存的环境中运行32B模型推理。可以参考7B模型的推理脚本修改模型路径和相关参数来适配32B模型。常见问题与解决方案资源需求7B模型建议至少16GB GPU内存32B模型建议至少64GB GPU内存推荐使用多GPU环境性能优化使用VLLM后端加速推理export VLLM_ATTENTION_BACKENDXFORMERS调整批大小和序列长度以适应硬件条件使用模型并行和数据并行技术提高训练效率文档与支持更多详细信息可以参考项目文档安装指南docs/start/install.rst快速开始docs/start/quickstart.rst高级配置docs/advance/总结Skywork-OR1的32B和7B模型为数学和代码推理任务提供了强大的解决方案。通过本指南您可以快速配置和使用这两个模型无论是进行推理还是训练微调。根据您的资源条件和任务需求选择合适的模型规模并参考提供的示例脚本进行操作。希望Skywork-OR1能帮助您在数学和代码推理领域取得更好的成果【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考