CSWin Transformer预训练权重怎么选Tiny/Small/Base/Large六种模型参数与FLOPs全对比附选型建议【免费下载链接】CSWin-TransformerCSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped, CVPR 2022项目地址: https://gitcode.com/gh_mirrors/cs/CSWin-TransformerCSWin Transformer 是 CVPR 2022 提出的通用视觉 Transformer 骨干网络官方仓库提供了Tiny / Small / Base / Large 共 6 个预训练权重224 与 384 两种分辨率。面对精度、参数量、计算量三个维度到底该选哪个本文用一张全对比表 场景化选型建议帮你 1 分钟完成CSWin Transformer 预训练模型选型。一、CSWin Transformer 是什么一句话讲清CSWin 的核心创新是交叉形窗口自注意力Cross-Shaped Window Self-Attention把窗口内的特征切成水平、垂直两个条带分别计算注意力再拼接融合。这样用有限的计算量就能逼近全局注意力效果同时保持层级式结构Stage 1~4 逐级下采样天然适配分类、检测、分割等下游任务。它的模型结构定义在 models/cswin.py 中6 种规格通过embed_dim、depth、num_heads、split_size四个超参数组合而来例如规格定义函数见 models/cswin.pyembed_dimdepthTinyCSWin_64_12211_tiny_22464[1,2,21,1]SmallCSWin_64_24322_small_22464[2,4,32,2]BaseCSWin_96_24322_base_22496[2,4,32,2]LargeCSWin_144_24322_large_224144[2,4,32,2] 规律很简单Tiny 和 Small 宽度相同64区别在深度Base / Large 加深加宽。所以小→大的精度提升是平滑的可以放心按预算往上选。二、六种预训练权重全对比表ImageNet 分类以下数据来自官方 README 的 ImageNet 主结果表模型预训练数据分辨率Top-1 精度参数量FLOPs CSWin-TImageNet-1K224×22482.8%23M4.3GCSWin-SImageNet-1K224×22483.6%35M6.9GCSWin-BImageNet-1K224×22484.2%78M15.0GCSWin-BImageNet-1K384×38485.5%78M47.0GCSWin-LImageNet-22K224×22486.5%173M31.5G CSWin-LImageNet-22K384×38487.5%173M96.8G从表中可以读出 3 个关键结论从 T 到 S性价比最高仅多 12M 参数精度 0.8%384 分辨率是免费的午餐Base 224→384 精度 1.3%Large 224→384 精度 1.0%代价只是推理算力翻倍左右Large 必须用 22K 预训练官方 Large 权重均基于 ImageNet-22K 预训练表征能力更强。三、下游任务实测分割与检测里谁更强预训练权重的价值最终要落到下游任务上。官方在 ADE20K 语义分割UPerNet和 COCO 检测Mask R-CNN上的结果ADE20K 语义分割mIoU骨干分割头mIoU总参数FLOPsCSWin-TUPerNet49.360M959GCSWin-SUPerNet50.465M1027GCSWin-BUPerNet51.1109M1222GCSWin-B22KUPerNet 64051.8109M1941GCSWin-L22KUPerNet 64053.4测试时增强 55.7208M2745GCOCO 目标检测Mask R-CNNbox mAP / mask mAP骨干box mAPmask mAP总 FLOPsCSWin-T49.043.6279GCSWin-S50.044.5342GCSWin-B50.844.9526G 结论Tiny 与 Large 在分割任务上相差 4 mIoU但参数量差 3 倍以上——你的业务对精度敏感度决定了选型。四、按场景选型3 个典型场景直接抄作业1️⃣ 轻量部署 / 边缘设备 / 大批量在线推理 → 选 CSWin-Tiny23M 参数、4.3G FLOPs6 个模型中唯一轻到飞起的选项82.8% 的 ImageNet 精度对工业质检、图片打标等场景已足够搭配 Mask R-CNN 时总 FLOPs 仅 279G是 6 个方案里最省显存的。2️⃣ 精度与速度平衡 → 选 CSWin-Small 或 CSWin-Base(224)Small35M / 6.9G适合资源有限但想要更好精度的通用场景是检测任务里性价比之王Base 22478M / 15G适合 GPU 训练预算充足、希望直接用中等模型出效果的团队分割 mIoU 达 51.1。3️⃣ 冲 SOTA / 高价值离线推理 → 选 CSWin-Large(384)87.5% ImageNet 精度、分割 55.7 mIoU测试时增强是榜单级选择96.8G FLOPs 意味着需要 A100 级别算力才跑得舒服只建议离线/高价值场景使用。五、预训练策略指南1K 与 22K 权重怎么用选对模型后还要用对训练策略仓库中 train.sh 与 finetune.sh 已给出官方配方策略适用模型说明从头训练Tiny / Small / Base2248 卡 A100 级别train.sh直接跑drop-path 随模型增大而调高0.2→0.5两阶段微调224→384Base 384 / Large 384先用 224 预训练权重再以 384 分辨率finetune.sh精调 20~30 epoch22K 大预训练Large 224 / Large 384官方 Large 权重即 22K 预训练 1K 精调而来普通团队不建议自训直接下载官方权重即可✅ 实用建议大多数用户无需自己预训练直接用官方 1K 或 22K 预训练权重做下游微调是时间与精度的最优解。六、下游微调快速上手语义分割部分基于 mmsegmentation官方提供 Tiny/Small/Base 三套 UPerNet 配置Tiny 配置segmentation/configs/cswin/upernet_cswin_tiny.pySmall 配置segmentation/configs/cswin/upernet_cswin_small.pyBase 配置segmentation/configs/cswin/upernet_cswin_base.py分割骨干实现segmentation/backbone/cswin_transformer.py微调时只需在训练命令中通过model.pretrained预训练权重路径指定你选好的 CSWin 权重即可具体流程见 segmentation/README.md。分类任务的 ImageNet 标签文件位于dataset/ILSVRC2012_name_train.txt与dataset/ILSVRC2012_name_val.txt。代码获取方式git clone https://gitcode.com/gh_mirrors/cs/CSWin-Transformer七、选型速查表收藏版你的场景推荐权重参数量FLOPs预期表现边缘设备 / 低延迟CSWin-T 22423M4.3G82.8% top-1资源受限的通用任务CSWin-S 22435M6.9G83.6% top-1中等算力、追求稳定CSWin-B 22478M15G84.2% top-1GPU 充足、精度优先CSWin-B 38478M47G85.5% top-1离线高价值、冲精度CSWin-L 38422K173M96.8G87.5% top-1一句话总结资源紧张选 Tiny预算适中选 Small/Base算力充足直接上 Large 384——先跑 Tiny 验证 pipeline再逐级升配是 CSWin Transformer 最省心的使用路径。【免费下载链接】CSWin-TransformerCSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped, CVPR 2022项目地址: https://gitcode.com/gh_mirrors/cs/CSWin-Transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CSWin Transformer预训练权重怎么选：Tiny/Small/Base/Large六种模型参数与FLOPs全对比（附选型建议）
CSWin Transformer预训练权重怎么选Tiny/Small/Base/Large六种模型参数与FLOPs全对比附选型建议【免费下载链接】CSWin-TransformerCSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped, CVPR 2022项目地址: https://gitcode.com/gh_mirrors/cs/CSWin-TransformerCSWin Transformer 是 CVPR 2022 提出的通用视觉 Transformer 骨干网络官方仓库提供了Tiny / Small / Base / Large 共 6 个预训练权重224 与 384 两种分辨率。面对精度、参数量、计算量三个维度到底该选哪个本文用一张全对比表 场景化选型建议帮你 1 分钟完成CSWin Transformer 预训练模型选型。一、CSWin Transformer 是什么一句话讲清CSWin 的核心创新是交叉形窗口自注意力Cross-Shaped Window Self-Attention把窗口内的特征切成水平、垂直两个条带分别计算注意力再拼接融合。这样用有限的计算量就能逼近全局注意力效果同时保持层级式结构Stage 1~4 逐级下采样天然适配分类、检测、分割等下游任务。它的模型结构定义在 models/cswin.py 中6 种规格通过embed_dim、depth、num_heads、split_size四个超参数组合而来例如规格定义函数见 models/cswin.pyembed_dimdepthTinyCSWin_64_12211_tiny_22464[1,2,21,1]SmallCSWin_64_24322_small_22464[2,4,32,2]BaseCSWin_96_24322_base_22496[2,4,32,2]LargeCSWin_144_24322_large_224144[2,4,32,2] 规律很简单Tiny 和 Small 宽度相同64区别在深度Base / Large 加深加宽。所以小→大的精度提升是平滑的可以放心按预算往上选。二、六种预训练权重全对比表ImageNet 分类以下数据来自官方 README 的 ImageNet 主结果表模型预训练数据分辨率Top-1 精度参数量FLOPs CSWin-TImageNet-1K224×22482.8%23M4.3GCSWin-SImageNet-1K224×22483.6%35M6.9GCSWin-BImageNet-1K224×22484.2%78M15.0GCSWin-BImageNet-1K384×38485.5%78M47.0GCSWin-LImageNet-22K224×22486.5%173M31.5G CSWin-LImageNet-22K384×38487.5%173M96.8G从表中可以读出 3 个关键结论从 T 到 S性价比最高仅多 12M 参数精度 0.8%384 分辨率是免费的午餐Base 224→384 精度 1.3%Large 224→384 精度 1.0%代价只是推理算力翻倍左右Large 必须用 22K 预训练官方 Large 权重均基于 ImageNet-22K 预训练表征能力更强。三、下游任务实测分割与检测里谁更强预训练权重的价值最终要落到下游任务上。官方在 ADE20K 语义分割UPerNet和 COCO 检测Mask R-CNN上的结果ADE20K 语义分割mIoU骨干分割头mIoU总参数FLOPsCSWin-TUPerNet49.360M959GCSWin-SUPerNet50.465M1027GCSWin-BUPerNet51.1109M1222GCSWin-B22KUPerNet 64051.8109M1941GCSWin-L22KUPerNet 64053.4测试时增强 55.7208M2745GCOCO 目标检测Mask R-CNNbox mAP / mask mAP骨干box mAPmask mAP总 FLOPsCSWin-T49.043.6279GCSWin-S50.044.5342GCSWin-B50.844.9526G 结论Tiny 与 Large 在分割任务上相差 4 mIoU但参数量差 3 倍以上——你的业务对精度敏感度决定了选型。四、按场景选型3 个典型场景直接抄作业1️⃣ 轻量部署 / 边缘设备 / 大批量在线推理 → 选 CSWin-Tiny23M 参数、4.3G FLOPs6 个模型中唯一轻到飞起的选项82.8% 的 ImageNet 精度对工业质检、图片打标等场景已足够搭配 Mask R-CNN 时总 FLOPs 仅 279G是 6 个方案里最省显存的。2️⃣ 精度与速度平衡 → 选 CSWin-Small 或 CSWin-Base(224)Small35M / 6.9G适合资源有限但想要更好精度的通用场景是检测任务里性价比之王Base 22478M / 15G适合 GPU 训练预算充足、希望直接用中等模型出效果的团队分割 mIoU 达 51.1。3️⃣ 冲 SOTA / 高价值离线推理 → 选 CSWin-Large(384)87.5% ImageNet 精度、分割 55.7 mIoU测试时增强是榜单级选择96.8G FLOPs 意味着需要 A100 级别算力才跑得舒服只建议离线/高价值场景使用。五、预训练策略指南1K 与 22K 权重怎么用选对模型后还要用对训练策略仓库中 train.sh 与 finetune.sh 已给出官方配方策略适用模型说明从头训练Tiny / Small / Base2248 卡 A100 级别train.sh直接跑drop-path 随模型增大而调高0.2→0.5两阶段微调224→384Base 384 / Large 384先用 224 预训练权重再以 384 分辨率finetune.sh精调 20~30 epoch22K 大预训练Large 224 / Large 384官方 Large 权重即 22K 预训练 1K 精调而来普通团队不建议自训直接下载官方权重即可✅ 实用建议大多数用户无需自己预训练直接用官方 1K 或 22K 预训练权重做下游微调是时间与精度的最优解。六、下游微调快速上手语义分割部分基于 mmsegmentation官方提供 Tiny/Small/Base 三套 UPerNet 配置Tiny 配置segmentation/configs/cswin/upernet_cswin_tiny.pySmall 配置segmentation/configs/cswin/upernet_cswin_small.pyBase 配置segmentation/configs/cswin/upernet_cswin_base.py分割骨干实现segmentation/backbone/cswin_transformer.py微调时只需在训练命令中通过model.pretrained预训练权重路径指定你选好的 CSWin 权重即可具体流程见 segmentation/README.md。分类任务的 ImageNet 标签文件位于dataset/ILSVRC2012_name_train.txt与dataset/ILSVRC2012_name_val.txt。代码获取方式git clone https://gitcode.com/gh_mirrors/cs/CSWin-Transformer七、选型速查表收藏版你的场景推荐权重参数量FLOPs预期表现边缘设备 / 低延迟CSWin-T 22423M4.3G82.8% top-1资源受限的通用任务CSWin-S 22435M6.9G83.6% top-1中等算力、追求稳定CSWin-B 22478M15G84.2% top-1GPU 充足、精度优先CSWin-B 38478M47G85.5% top-1离线高价值、冲精度CSWin-L 38422K173M96.8G87.5% top-1一句话总结资源紧张选 Tiny预算适中选 Small/Base算力充足直接上 Large 384——先跑 Tiny 验证 pipeline再逐级升配是 CSWin Transformer 最省心的使用路径。【免费下载链接】CSWin-TransformerCSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped, CVPR 2022项目地址: https://gitcode.com/gh_mirrors/cs/CSWin-Transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考