RobustBench核心功能深度解析从模型库到排行榜的完整工作流【免费下载链接】robustbenchRobustBench: a standardized adversarial robustness benchmark [NeurIPS 2021 Benchmarks and Datasets Track]项目地址: https://gitcode.com/gh_mirrors/ro/robustbenchRobustBench是一个标准化的对抗鲁棒性基准测试平台旨在系统追踪对抗鲁棒性研究的真实进展。在对抗机器学习领域已有超过3000篇相关论文但哪些方法真正有效、哪些只是过度估计了鲁棒性往往难以分辨。RobustBench通过提供标准化的评估框架和模型库帮助研究者和开发者准确衡量和比较不同防御方法的实际效果。 RobustBench是什么RobustBench是一个对抗鲁棒性评估基准平台包含两个核心组件在线排行榜- 展示不同模型在各种对抗攻击下的性能排名模型库- 提供经过验证的鲁棒模型可一键加载使用该项目支持多种数据集CIFAR-10、CIFAR-100、ImageNet和多种威胁模型L∞、L₂、常见损坏是目前对抗鲁棒性研究领域最权威的基准测试平台之一。图CIFAR-10数据集上的L∞对抗鲁棒性排行榜截图 快速开始一键加载鲁棒模型使用RobustBench非常简单只需几行代码即可加载最先进的鲁棒模型pip install githttps://github.com/RobustBench/robustbench.gitfrom robustbench.data import load_cifar10 from robustbench.utils import load_model # 加载CIFAR-10测试数据 x_test, y_test load_cifar10(n_examples50) # 加载Carmon2019Unlabeled模型CIFAR-10上L∞鲁棒性59.53% model load_model(model_nameCarmon2019Unlabeled, datasetcifar10, threat_modelLinf) 三大核心功能详解1. 标准化对抗鲁棒性评估RobustBench的核心价值在于提供标准化的评估流程。在对抗鲁棒性研究中不同论文使用不同的攻击方法和评估标准导致结果难以直接比较。RobustBench通过统一的评估协议解决了这一问题标准攻击方法默认使用AutoAttack进行L∞和L₂评估统一评估指标清洁准确率和鲁棒准确率可重复的实验设置确保不同模型的结果具有可比性图CIFAR-10数据集上对抗鲁棒性随时间的变化趋势2. 模型库Model ZooRobustBench的模型库包含了数百个经过严格评估的鲁棒模型涵盖CIFAR-1075个L∞鲁棒模型、20个L₂鲁棒模型、17个常见损坏鲁棒模型CIFAR-10037个L∞鲁棒模型、12个常见损坏鲁棒模型ImageNet25个L∞鲁棒模型、12个常见损坏鲁棒模型每个模型都包含详细的元数据论文引用和作者信息模型架构和参数清洁准确率和鲁棒准确率评估使用的威胁模型和参数3. 全面的排行榜系统RobustBench提供多个维度的排行榜L∞威胁模型排行榜ε8/255CIFAR-10Bartoldson2024Adversarial_WRN-94-16以73.71%的鲁棒准确率位居第一CIFAR-100Wang2023Better_WRN-70-16以42.67%的鲁棒准确率领先ImageNetAmini2024MeanSparse以59.64%的鲁棒准确率排名第一L₂威胁模型排行榜ε0.5CIFAR-10Wang2023Better_WRN-70-16以84.97%的鲁棒准确率领先常见损坏鲁棒性排行榜CIFAR-10Diffenderfer2021Winning_LRR_CARD_Deck以92.78%的鲁棒准确率最佳ImageNetTian2022Deeper_DeiT-B以67.55%的鲁棒准确率领先图CIFAR-10数据集上的L₂对抗鲁棒性排行榜 完整工作流程指南步骤1安装和配置# 安装最新版本 pip install githttps://github.com/RobustBench/robustbench.git # 或安装稳定版本 pip install githttps://github.com/RobustBench/robustbench.gitv1.0步骤2选择数据集和威胁模型RobustBench支持三种主要数据集CIFAR-10自动下载CIFAR-100自动下载ImageNet需手动下载以及三种威胁模型LinfL∞范数约束的对抗攻击L2L₂范数约束的对抗攻击corruptions常见图像损坏步骤3加载和评估模型import torch from robustbench import benchmark from myrobust_model import MyRobustModel # 初始化模型 model MyRobustModel() model_name YourModelName2024 # 运行基准测试 clean_acc, robust_acc benchmark( model, model_namemodel_name, n_examples10000, datasetcifar10, threat_modelLinf, eps8/255, devicetorch.device(cuda:0), to_diskTrue # 保存结果到JSON文件 )步骤4提交结果到排行榜提交模型到RobustBench需要准备模型定义文件位于robustbench/model_zoo/模型检查点上传到Google Drive评估结果JSON文件包含清洁准确率和鲁棒准确率 项目结构解析RobustBench的项目结构清晰便于扩展和维护robustbench/ ├── __init__.py # 主要导入接口 ├── data.py # 数据集加载模块 ├── eval.py # 评估功能模块 ├── utils.py # 工具函数 ├── loaders.py # 数据加载器 ├── zenodo_download.py # 模型下载 └── model_zoo/ # 模型库核心 ├── __init__.py ├── architectures/ # 模型架构定义 ├── cifar10.py # CIFAR-10模型 ├── cifar100.py # CIFAR-100模型 └── imagenet.py # ImageNet模型图常见图像损坏鲁棒性排行榜截图 深入分析功能对抗鲁棒性趋势分析RobustBench提供了丰富的分析工具可以生成各种可视化图表# 分析不同年份的鲁棒性进展 # 查看 images/aa_robustness_vs_years.png图论文报告的鲁棒性与标准评估结果的对比跨数据集和威胁模型比较项目支持多种分析维度不同会议/期刊的模型性能对比清洁准确率vs鲁棒准确率的权衡分析不同架构CNN vs Transformer的鲁棒性比较 最佳实践建议1. 选择合适的模型根据您的需求选择模型最高鲁棒性选择排行榜顶部的模型平衡性能考虑清洁准确率和鲁棒准确率的权衡计算资源注意模型大小和推理速度2. 正确使用评估协议# 使用AutoAttack进行标准评估 from autoattack import AutoAttack adversary AutoAttack(model, normLinf, eps8/255) x_adv adversary.run_standard_evaluation(x_test, y_test)3. 处理不同威胁模型# 评估常见损坏鲁棒性 from robustbench.data import load_cifar10c from robustbench.utils import clean_accuracy corruptions [fog, snow, frost] x_test, y_test load_cifar10c(n_examples1000, corruptionscorruptions, severity5) acc clean_accuracy(model, x_test, y_test) 性能指标解读关键指标说明清洁准确率在原始干净测试集上的准确率鲁棒准确率在对抗攻击下的准确率鲁棒性差距清洁准确率与鲁棒准确率的差值典型性能范围CIFAR-10 L∞最佳模型鲁棒准确率约74%清洁准确率约94%CIFAR-100 L∞最佳模型鲁棒准确率约43%清洁准确率约75%ImageNet L∞最佳模型鲁棒准确率约60%清洁准确率约78%图不同学术会议/期刊发表的模型在对抗鲁棒性上的表现对比 未来发展方向RobustBench持续演进支持更多功能3D常见损坏评估新增ImageNet-3DCC基准自适应攻击集成支持自定义攻击方法更多数据集扩展计划支持更多视觉和自然语言任务实时排行榜更新自动集成新提交的模型 实用技巧快速验证模型性能# 快速验证模型在少量样本上的性能 from robustbench.utils import clean_accuracy clean_acc clean_accuracy(model, x_test[:100], y_test[:100]) print(fClean accuracy on 100 samples: {clean_acc:.2%})批量评估多个模型# 批量评估多个模型 model_names [Carmon2019Unlabeled, Rebuffi2021Fixing_70_16_cutmix_extra, Wang2023Better_WRN-70-16] results {} for name in model_names: model load_model(model_namename, datasetcifar10, threat_modelLinf) clean_acc clean_accuracy(model, x_test, y_test) results[name] clean_acc 总结RobustBench为对抗鲁棒性研究提供了标准化、可重复、易用的评估框架。通过其丰富的模型库和全面的排行榜系统研究者和开发者可以快速比较不同防御方法的实际效果轻松集成最先进的鲁棒模型到自己的应用中标准化评估确保结果的可比性和可重复性跟踪进展了解对抗鲁棒性研究的最新动态无论您是研究人员需要评估新方法还是工程师需要部署鲁棒模型RobustBench都是对抗机器学习领域不可或缺的工具。图RobustBench提供的各种分析图表汇总【免费下载链接】robustbenchRobustBench: a standardized adversarial robustness benchmark [NeurIPS 2021 Benchmarks and Datasets Track]项目地址: https://gitcode.com/gh_mirrors/ro/robustbench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考