如何在算力云上部署Qwen/Qwen3-8B

注册算力云账号访问AutoDL算力云官网完成账号注册流程。平台提供多种GPU算力租赁方案注册后可通过实名认证提升账号权限。购买算力云服务登录后进入控制台选择符合需求的GPU实例规格如显存大小、显卡型号。注意选择适合大模型训练的配置通常需要16GB以上显存。付款后等待实例初始化完成。连接服务器使用SSH工具如Tabby、MobaXterm连接分配的服务器IP。连接信息在实例详情页可见需使用提供的登录密码或密钥文件。首次连接建议创建模型存储目录mkdir -p /root/autodl-tmp/models准备模型下载环境安装必要的Python库建议创建虚拟环境pip install modelscope torch配置下载脚本创建download.py文件以下载Qwen2.5-Omni-3B为例from modelscope import snapshot_download # 可选模型按需取消注释切换 # model_dir snapshot_download(ZhipuAI/glm-4-9b-chat, cache_dir/root/autodl-tmp/models, revisionmaster) # model_dir snapshot_download(deepseek-ai/DeepSeek-R1-Distill-Qwen-7B, cache_dir/root/autodl-tmp/models, revisionmaster) # model_dir snapshot_download(LLM-Research/Meta-Llama-3.1-8B-Instruct, cache_dir/root/autodl-tmp/models, revisionmaster) # model_dir snapshot_download(Qwen/Qwen2.5-7B-Instruct, cache_dir/root/autodl-tmp/models, revisionmaster) # model_dir snapshot_download(LLM-Research/Meta-Llama-3.1-8B-Instruct) model_dir snapshot_download(Qwen/Qwen3-8B, cache_dir/root/autodl-tmp/models, revisionmaster) # 当前下载模型 Qwen2.5-Omni-3B #model_dir snapshot_download(Qwen/Qwen2.5-Omni-3B, cache_dir/root/autodl-tmp/models, revisionmaster) print(f模型下载完成存放路径{model_dir})执行下载命令运行脚本并监控下载进度python download.py下载过程中会显示进度条完成时输出模型存储路径。若需切换模型修改脚本中的模型ID即可。验证下载结果检查模型文件是否完整ls -lh /root/autodl-tmp/models/Qwen/Qwen2.5-Omni-3B正常应包含config.json、pytorch_model.bin等核心文件。若下载中断重新运行脚本会自动续传。部署vLLM推理服务安装vLLM推理框架pip install vllm验证服务是否安装python -c import torch; print(torch.__version__); print(torch.cuda.is_available())启动推理服务启动Qwen3-8B推理服务支持工具调用python -m vllm.entrypoints.openai.api_server \ --model /root/autodl-tmp/models/Qwen/Qwen3-8B \ --served-model-name qwen3-8b \ --max-model-len 8k \ --host 0.0.0.0 \ --port 6006 \ --dtype bfloat16 \ --gpu-memory-utilization 0.8 \ --enable-auto-tool-choice \ --tool-call-parser hermes \ --enable-reasoning \ --reasoning-parser deepseek_r1虚拟环境版安装推荐新建并激活虚拟环境仅第一次执行python -m venv ~/autodl-tmp/venv-llm source ~/autodl-tmp/venv-llm/bin/activate一键安装全套依赖pip install vllm modelscope torch transformers accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple校验vLLM新版本是否支持reasoning参数python -m vllm.entrypoints.openai.api_server -h | grep reasoning启动完整带思维链的服务python -m vllm.entrypoints.openai.api_server \ --model /root/autodl-tmp/models/Qwen/Qwen3-8B \ --served-model-name qwen3-8b \ --max-model-len 8k \ --host 0.0.0.0 \ --port 6006 \ --dtype bfloat16 \ --gpu-memory-utilization 0.8 \ --enable-auto-tool-choice \ --tool-call-parser hermes \ --enable-reasoning \ --reasoning-parser deepseek_r1本地访问服务服务启动后可通过以下方式测试curl http://localhost:6006/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen3-8b, messages: [ {role: user, content: 你好} ] }