单张80GB显卡跑22B强参数LLMsolar-pro-preview-instruct完整入门指南【免费下载链接】solar-pro-preview-instruct项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct如果你只想用一张80GB显存的显卡如 H100 / A100部署一个接近 70B 旗舰水平的大语言模型solar-pro-preview-instruct是目前最值得关注的选择。这是 Upstage 推出的 220 亿参数指令微调模型MIT 开源协议、单卡可跑、长文指令遵循能力突出。本文带你从零理解它的亮点、查看关键配置并掌握单卡部署的完整流程。为什么值得试solar-pro-preview-instruct 的 3 个核心理由 单卡 80GB 即可部署22B 参数采用 bfloat16 精度官方定位就是最聪明单 GPU 大模型无需多卡张量并行。性能对标 3 倍体量的模型多项基准测试追平 Llama-3.1-70B而体量只有其三分之一。MIT 协议 深度扩展架构基于 Phi-3-medium 通过 BSKCN 深度上采样扩展到 22B见 modeling_solar.py商用友好。它是对话型指令模型适合聊天、写作、知识问答与代码补全等场景而非基座模型。模型规格速览5 个关键参数读懂 config.json项目数值对新手意味着什么参数量22B80GB 单卡可完整加载层数 / 隐藏层维度64 / 5120深而宽的 Transformer 结构注意力头 / KV 头40 / 10采用 GQA 分组注意力推理更快最大上下文40964KPreview 版上下文上限正式版将扩展精度 / 词表bfloat16 / 32128含 ChatML 专用特殊 token权重文件拆分为 9 个 safetensors 分片完整索引见 model.safetensors.index.jsonChatML 相关特殊符号定义在 added_tokens.json 中。基准测试成绩22B 模型凭什么打平 70B以下是官方评测中与 Llama-3.1-70B 的对比完整榜单见 README.md基准Solar Pro Preview (22B)Llama-3.1-70BMMLU知识79.1482.09MMLU Pro深度知识52.1153.01IFEval指令遵循84.3784.13GSM8K数学推理89.6992.12HellaSwag常识86.3686.42亮点解读MMLU Pro 反超 70B 旗舰IFEval 与 70B 打平——这正是它在 30B 以下模型中最强的两大长板。单卡部署教程3 步跑通推理部署步骤 ⚡第 1 步下载模型权重git clone https://gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct仓库内即包含全部权重分片与推理代码无需额外下载。第 2 步安装推理依赖pip install transformers4.44.2 torch2.3.1 flash_attn2.5.8 accelerate0.31.0第 3 步加载模型并生成import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(./solar-pro-preview-instruct) model AutoModelForCausalLM.from_pretrained( ./solar-pro-preview-instruct, device_mapcuda, torch_dtypeauto, trust_remote_codeTrue, # 加载自定义架构 modeling_solar.py 必需 ) prompt tokenizer.apply_chat_template( [{role: user, content: 请介绍一下你自己}], return_tensorspt, add_generation_promptTrue, ).to(model.device) print(tokenizer.decode(model.generate(prompt, max_new_tokens512)[0]))两点提示trust_remote_codeTrue用于加载仓库自带的 configuration_solar.py 与 modeling_solar.py若显存吃紧可改用device_mapauto。高并发场景建议换 vLLM仓库内置了适配的推理实现 vllm_solar.py支持连续批处理与多请求服务吞吐远高于单线程 generate。对话模板指南ChatML 格式这样写效果最好 Solar Pro Preview 使用ChatML模板与 Qwen 系同款风格对话轮次形如user 请介绍一下你自己 /think |assistant| 我是 Solar Pro Preview…… |end|新手注意两个坑暂不支持 system 系统提示词Preview 版会在正式版补齐建议始终用tokenizer.apply_chat_template(...)自动拼装别手拼标签否则会触发异常输出。适用人群与已知限制选型前必看 ⚠️适合拥有单张 H100 / A100 80GB 的团队、想低成本搭建私有对话/知识问答服务的开发者、研究深度扩展depth up-scaling技术路线的研究者。局限Preview 版上下文仅4K tokens长文档场景需等正式版语言覆盖以英文为主中文表现弱于同级别中文模型需要 80GB 级显存消费级 24GB 显卡无法直接全精度运行。关键文件说明config.json模型结构超参数modeling_solar.pyHuggingFace 自定义推理实现vllm_solar.pyvLLM 高吞吐推理实现tokenizer.json / tokenizer.model分词器含 ChatML tokenLICENSEMIT 开源协议一句话总结solar-pro-preview-instruct 用单张 80GB 显卡提供了逼近 70B 旗舰的指令遵循与知识问答能力是当前单卡高性能 LLM 部署的高性价比首选。【免费下载链接】solar-pro-preview-instruct项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 单张80GB显卡跑22B强参数LLM：solar-pro-preview-instruct完整入门指南
单张80GB显卡跑22B强参数LLMsolar-pro-preview-instruct完整入门指南【免费下载链接】solar-pro-preview-instruct项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct如果你只想用一张80GB显存的显卡如 H100 / A100部署一个接近 70B 旗舰水平的大语言模型solar-pro-preview-instruct是目前最值得关注的选择。这是 Upstage 推出的 220 亿参数指令微调模型MIT 开源协议、单卡可跑、长文指令遵循能力突出。本文带你从零理解它的亮点、查看关键配置并掌握单卡部署的完整流程。为什么值得试solar-pro-preview-instruct 的 3 个核心理由 单卡 80GB 即可部署22B 参数采用 bfloat16 精度官方定位就是最聪明单 GPU 大模型无需多卡张量并行。性能对标 3 倍体量的模型多项基准测试追平 Llama-3.1-70B而体量只有其三分之一。MIT 协议 深度扩展架构基于 Phi-3-medium 通过 BSKCN 深度上采样扩展到 22B见 modeling_solar.py商用友好。它是对话型指令模型适合聊天、写作、知识问答与代码补全等场景而非基座模型。模型规格速览5 个关键参数读懂 config.json项目数值对新手意味着什么参数量22B80GB 单卡可完整加载层数 / 隐藏层维度64 / 5120深而宽的 Transformer 结构注意力头 / KV 头40 / 10采用 GQA 分组注意力推理更快最大上下文40964KPreview 版上下文上限正式版将扩展精度 / 词表bfloat16 / 32128含 ChatML 专用特殊 token权重文件拆分为 9 个 safetensors 分片完整索引见 model.safetensors.index.jsonChatML 相关特殊符号定义在 added_tokens.json 中。基准测试成绩22B 模型凭什么打平 70B以下是官方评测中与 Llama-3.1-70B 的对比完整榜单见 README.md基准Solar Pro Preview (22B)Llama-3.1-70BMMLU知识79.1482.09MMLU Pro深度知识52.1153.01IFEval指令遵循84.3784.13GSM8K数学推理89.6992.12HellaSwag常识86.3686.42亮点解读MMLU Pro 反超 70B 旗舰IFEval 与 70B 打平——这正是它在 30B 以下模型中最强的两大长板。单卡部署教程3 步跑通推理部署步骤 ⚡第 1 步下载模型权重git clone https://gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct仓库内即包含全部权重分片与推理代码无需额外下载。第 2 步安装推理依赖pip install transformers4.44.2 torch2.3.1 flash_attn2.5.8 accelerate0.31.0第 3 步加载模型并生成import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(./solar-pro-preview-instruct) model AutoModelForCausalLM.from_pretrained( ./solar-pro-preview-instruct, device_mapcuda, torch_dtypeauto, trust_remote_codeTrue, # 加载自定义架构 modeling_solar.py 必需 ) prompt tokenizer.apply_chat_template( [{role: user, content: 请介绍一下你自己}], return_tensorspt, add_generation_promptTrue, ).to(model.device) print(tokenizer.decode(model.generate(prompt, max_new_tokens512)[0]))两点提示trust_remote_codeTrue用于加载仓库自带的 configuration_solar.py 与 modeling_solar.py若显存吃紧可改用device_mapauto。高并发场景建议换 vLLM仓库内置了适配的推理实现 vllm_solar.py支持连续批处理与多请求服务吞吐远高于单线程 generate。对话模板指南ChatML 格式这样写效果最好 Solar Pro Preview 使用ChatML模板与 Qwen 系同款风格对话轮次形如user 请介绍一下你自己 /think |assistant| 我是 Solar Pro Preview…… |end|新手注意两个坑暂不支持 system 系统提示词Preview 版会在正式版补齐建议始终用tokenizer.apply_chat_template(...)自动拼装别手拼标签否则会触发异常输出。适用人群与已知限制选型前必看 ⚠️适合拥有单张 H100 / A100 80GB 的团队、想低成本搭建私有对话/知识问答服务的开发者、研究深度扩展depth up-scaling技术路线的研究者。局限Preview 版上下文仅4K tokens长文档场景需等正式版语言覆盖以英文为主中文表现弱于同级别中文模型需要 80GB 级显存消费级 24GB 显卡无法直接全精度运行。关键文件说明config.json模型结构超参数modeling_solar.pyHuggingFace 自定义推理实现vllm_solar.pyvLLM 高吞吐推理实现tokenizer.json / tokenizer.model分词器含 ChatML tokenLICENSEMIT 开源协议一句话总结solar-pro-preview-instruct 用单张 80GB 显卡提供了逼近 70B 旗舰的指令遵循与知识问答能力是当前单卡高性能 LLM 部署的高性价比首选。【免费下载链接】solar-pro-preview-instruct项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/solar-pro-preview-instruct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考