为什么选择HealthGPT-Pro-4B揭秘两阶段训练法与1300万样本对齐的强大优势【免费下载链接】HealthGPT-Pro-4B项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4BHealthGPT-Pro-4B是一款基于Qwen3-VL构建的高性能医疗多模态大语言模型Med-MLLM专为医疗文本、2D医学图像和3D医学体积的理解与分析设计在广泛的医疗文本和视觉语言任务中展现出强大性能。 核心优势解析 两阶段训练法兼顾性能与效率的黄金配方HealthGPT-Pro-4B采用创新的两阶段训练策略通过科学配比的训练数据实现了模型性能的飞跃对齐阶段使用300万样本进行基础对齐确保模型掌握医疗领域的核心概念和任务范式微调阶段再通过1000万样本进行指令微调SFT进一步提升模型在具体医疗任务上的表现这种训练方法使模型在保持4B参数轻量级优势的同时实现了与更大规模模型相媲美的性能。在医学文本基准测试中HealthGPT-Pro-4B的平均得分为58.9超过了多个同量级竞品甚至逼近部分7B参数模型的表现。 1300万样本对齐构建全面的医疗知识体系HealthGPT-Pro-4B的训练数据涵盖了1300万样本的医疗专业内容包括多模态数据支持文本、2D图像和3D体积数据的处理14种模态覆盖 computed断层扫描、数字摄影、眼底摄影、红外反射成像、磁共振成像、光学相干断层扫描、皮肤镜检查、内窥镜检查、显微镜检查、X射线成像、超声成像、组织病理学、阴道镜检查和文本多样化任务训练不仅包含医疗领域数据还保留了一定比例的通用数据确保模型保持良好的指令跟随能力 性能表现小模型大能力 医学文本任务表现在多项医学文本基准测试中HealthGPT-Pro-4B展现出优异性能MMLU-Med80.4分MMedBench71.6分MedMCQA64.4分MedQA71.5分PubMedQA78.4分这些成绩表明HealthGPT-Pro-4B在医学知识理解、临床推理和专业问答方面具有强大能力。️ 医学多模态任务表现HealthGPT-Pro-4B在医疗图像分析任务中同样表现出色VQA-RAD76.6分SLAKE83.9分PathVQA66.7分CT-RATE-MCQ86.2分该指标排名第一平均得分67.1分特别是在CT影像分析等复杂任务中HealthGPT-Pro-4B的表现超越了许多更大规模的模型证明了其高效的特征提取和推理能力。⚙️ 快速开始使用环境准备推荐使用Python 3.12环境通过以下命令安装依赖# 创建并激活虚拟环境 conda create -n healthgpt-pro python3.12 -y conda activate healthgpt-pro # 安装PyTorchCUDA 12.8版本 pip install torch2.8.0 torchvision0.23.0 torchaudio2.8.0 --index-url https://download.pytorch.org/whl/cu128 # 安装FlashAttention加速注意力计算 pip install flash-attn2.8.3 --no-build-isolation --upgrade # 安装其他依赖 pip install transformers4.57.1 accelerate1.11.0 deepspeed0.16.9 numpy1.26.4 peft0.17.1 pip install qwen-vl-utils pillow模型加载import torch from transformers import AutoProcessor, Qwen3VLForConditionalGeneration model_id HealthGPT-Pro-4B model Qwen3VLForConditionalGeneration.from_pretrained( model_id, dtypetorch.bfloat16, attn_implementationflash_attention_2, device_mapauto, ) processor AutoProcessor.from_pretrained(model_id)文本推理示例messages [ { role: user, content: [ {type: text, text: Explain the key symptoms and common risk factors of pneumonia.}, ], } ] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, ).to(model.device) generated_ids model.generate(**inputs, max_new_tokens256) generated_ids_trimmed [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output_text processor.batch_decode( generated_ids_trimmed, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, ) print(output_text[0])图像推理示例messages [ { role: user, content: [ {type: image, image: examples/chest_xray.png}, {type: text, text: Describe the main radiological findings in this image.}, ], } ] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, ).to(model.device) generated_ids model.generate(**inputs, max_new_tokens256) generated_ids_trimmed [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output_text processor.batch_decode( generated_ids_trimmed, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, ) print(output_text[0]) 注意事项HealthGPT-Pro-4B仅供研究使用不应作为专业临床判断、诊断或治疗的替代品如需使用模型请通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4B模型支持文本、单图像、多图像和3D体积数据的推理具体使用方法请参考项目文档 引用如果您发现此模型对您的研究有用请引用misc{lin2025healthgptmedicallargevisionlanguage, title{HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, author{Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi}, year{2025}, eprint{2502.09838}, archivePrefix{arXiv}, primaryClass{cs.CV}, url{https://arxiv.org/abs/2502.09838}, }通过创新的两阶段训练法和1300万样本的精心对齐HealthGPT-Pro-4B在保持轻量级优势的同时为医疗多模态理解与分析任务提供了强大支持是研究人员和开发者探索医疗AI应用的理想选择。【免费下载链接】HealthGPT-Pro-4B项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 为什么选择HealthGPT-Pro-4B？揭秘两阶段训练法与1300万样本对齐的强大优势
为什么选择HealthGPT-Pro-4B揭秘两阶段训练法与1300万样本对齐的强大优势【免费下载链接】HealthGPT-Pro-4B项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4BHealthGPT-Pro-4B是一款基于Qwen3-VL构建的高性能医疗多模态大语言模型Med-MLLM专为医疗文本、2D医学图像和3D医学体积的理解与分析设计在广泛的医疗文本和视觉语言任务中展现出强大性能。 核心优势解析 两阶段训练法兼顾性能与效率的黄金配方HealthGPT-Pro-4B采用创新的两阶段训练策略通过科学配比的训练数据实现了模型性能的飞跃对齐阶段使用300万样本进行基础对齐确保模型掌握医疗领域的核心概念和任务范式微调阶段再通过1000万样本进行指令微调SFT进一步提升模型在具体医疗任务上的表现这种训练方法使模型在保持4B参数轻量级优势的同时实现了与更大规模模型相媲美的性能。在医学文本基准测试中HealthGPT-Pro-4B的平均得分为58.9超过了多个同量级竞品甚至逼近部分7B参数模型的表现。 1300万样本对齐构建全面的医疗知识体系HealthGPT-Pro-4B的训练数据涵盖了1300万样本的医疗专业内容包括多模态数据支持文本、2D图像和3D体积数据的处理14种模态覆盖 computed断层扫描、数字摄影、眼底摄影、红外反射成像、磁共振成像、光学相干断层扫描、皮肤镜检查、内窥镜检查、显微镜检查、X射线成像、超声成像、组织病理学、阴道镜检查和文本多样化任务训练不仅包含医疗领域数据还保留了一定比例的通用数据确保模型保持良好的指令跟随能力 性能表现小模型大能力 医学文本任务表现在多项医学文本基准测试中HealthGPT-Pro-4B展现出优异性能MMLU-Med80.4分MMedBench71.6分MedMCQA64.4分MedQA71.5分PubMedQA78.4分这些成绩表明HealthGPT-Pro-4B在医学知识理解、临床推理和专业问答方面具有强大能力。️ 医学多模态任务表现HealthGPT-Pro-4B在医疗图像分析任务中同样表现出色VQA-RAD76.6分SLAKE83.9分PathVQA66.7分CT-RATE-MCQ86.2分该指标排名第一平均得分67.1分特别是在CT影像分析等复杂任务中HealthGPT-Pro-4B的表现超越了许多更大规模的模型证明了其高效的特征提取和推理能力。⚙️ 快速开始使用环境准备推荐使用Python 3.12环境通过以下命令安装依赖# 创建并激活虚拟环境 conda create -n healthgpt-pro python3.12 -y conda activate healthgpt-pro # 安装PyTorchCUDA 12.8版本 pip install torch2.8.0 torchvision0.23.0 torchaudio2.8.0 --index-url https://download.pytorch.org/whl/cu128 # 安装FlashAttention加速注意力计算 pip install flash-attn2.8.3 --no-build-isolation --upgrade # 安装其他依赖 pip install transformers4.57.1 accelerate1.11.0 deepspeed0.16.9 numpy1.26.4 peft0.17.1 pip install qwen-vl-utils pillow模型加载import torch from transformers import AutoProcessor, Qwen3VLForConditionalGeneration model_id HealthGPT-Pro-4B model Qwen3VLForConditionalGeneration.from_pretrained( model_id, dtypetorch.bfloat16, attn_implementationflash_attention_2, device_mapauto, ) processor AutoProcessor.from_pretrained(model_id)文本推理示例messages [ { role: user, content: [ {type: text, text: Explain the key symptoms and common risk factors of pneumonia.}, ], } ] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, ).to(model.device) generated_ids model.generate(**inputs, max_new_tokens256) generated_ids_trimmed [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output_text processor.batch_decode( generated_ids_trimmed, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, ) print(output_text[0])图像推理示例messages [ { role: user, content: [ {type: image, image: examples/chest_xray.png}, {type: text, text: Describe the main radiological findings in this image.}, ], } ] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, ).to(model.device) generated_ids model.generate(**inputs, max_new_tokens256) generated_ids_trimmed [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output_text processor.batch_decode( generated_ids_trimmed, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, ) print(output_text[0]) 注意事项HealthGPT-Pro-4B仅供研究使用不应作为专业临床判断、诊断或治疗的替代品如需使用模型请通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4B模型支持文本、单图像、多图像和3D体积数据的推理具体使用方法请参考项目文档 引用如果您发现此模型对您的研究有用请引用misc{lin2025healthgptmedicallargevisionlanguage, title{HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, author{Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi}, year{2025}, eprint{2502.09838}, archivePrefix{arXiv}, primaryClass{cs.CV}, url{https://arxiv.org/abs/2502.09838}, }通过创新的两阶段训练法和1300万样本的精心对齐HealthGPT-Pro-4B在保持轻量级优势的同时为医疗多模态理解与分析任务提供了强大支持是研究人员和开发者探索医疗AI应用的理想选择。【免费下载链接】HealthGPT-Pro-4B项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考