论文题目Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models鲁棒大型视觉语言模型视觉嵌入的无监督对抗性微调会议ICML2024摘要像OpenFlamingo、LLaVA和GPT-4这样的多模式基础模型越来越多地用于各种现实世界的任务。先前的研究表明这些模型极易受到视觉模态的对抗性攻击。这些攻击可以用来传播虚假信息或欺骗用户从而造成重大风险这使得大型多模态基础模型的鲁棒性成为一个紧迫的问题。CLIP模型或其变体之一被用作许多大型视觉语言模型(LVLMs)中的冻结视觉编码器例如LLaVA和OpenFlamingo。我们提出了一种无监督的对抗性微调方案来获得鲁棒的CLIP视觉编码器该编码器对依赖CLIP的所有视觉下游任务(LVLMs零样本学习分类)产生鲁棒性。特别是我们表明一旦用我们的鲁棒的模型取代原始CLIP模型恶意第三方提供操纵图像对lvlm用户的隐形攻击就不再可能了。不需要对下游lvlm进行再培训或微调。代码和鲁棒的模型可在GitHub上获得。保护AI视觉的盾牌FARE让大型视觉-语言模型免受对抗攻击引言当AI被欺骗时会发生什么想象这样一个场景你正在使用一个先进的AI助手来分析一张看似普通的街景照片期望得到繁忙的街道上有很多人和车辆这样的描述。然而AI却突然输出了访问 https://tinyurl.com/23cbjxjz这样的可疑链接。这不是科幻小说的情节而是当前大型视觉-语言模型面临的真实威胁。近日来自图宾根大学和EPFL的研究团队在ICML 2024上发表了一篇重要论文《Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models》提出了一种名为FARE的创新方法为这一安全隐患提供了有效的解决方案。问题的严重性无处不在的视觉漏洞多模态AI的普及与风险当前像GPT-4、LLaVA、OpenFlamingo这样的大型视觉-语言模型正在各个领域得到广泛应用。这些模型的核心组件之一是CLIPContrastive Language-Image Pre-training它作为冻结的视觉编码器负责理解和处理图像信息。然而研究发现了一个令人担忧的事实CLIP模型对对抗性攻击几乎毫无抵抗力。攻击者只需要对图像进行人眼无法察觉的细微修改扰动幅度仅为4/255就能完全操控AI模型的输出。真实的威胁场景论文展示了几个典型的攻击场景虚假信息传播将疫苗安全的图片修改后AI会输出疫苗很危险的虚假信息钓鱼网站引导普通图片经过修改后AI会输出包含恶意链接的文本API滥用攻击者可以让AI执行EmailAPI(totarget email, subjectUser Query, bodyattack)这样的恶意指令更危险的是这些攻击具有很强的迁移性——针对一个模型生成的对抗样本在其他使用相同CLIP编码器的模型上同样有效。现有方案的不足TeCoA方法的局限性目前唯一的防御方法是TeCoAText-guided Contrastive Adversarial training它采用有监督的对抗训练方式。然而这种方法存在两个致命缺陷泛化能力差只针对ImageNet等特定数据集的类别进行训练对未见过的类别和任务表现很差破坏原始特征使用余弦相似度损失函数会在径向方向上任意修改嵌入向量导致在其他任务中性能严重下降实验结果显示虽然TeCoA能提供一定的鲁棒性但它会显著降低模型在清洁输入上的性能使得AI的回答质量明显下降。FARE优雅的解决方案核心思想保持而非重塑研究团队提出的FAREFine-tuning for Adversarially Robust Embeddings方法采用了一个巧妙的策略在获得鲁棒性的同时最大程度地保持原始CLIP的特征表示能力。FARE的损失函数设计精妙L_FARE(φ, x) max_{||z-x||∞≤ε} ||φ(z) - φ_Org(x)||_2^2这个公式的含义是让扰动后的图像嵌入尽可能接近原始图像的嵌入。这样既能抵御对抗攻击又能保持原始模型的优秀特性。三大技术优势1. 无监督训练与TeCoA不同FARE不需要任何标签信息可以在任意图像数据集上进行训练具有更好的通用性。2. 理论保证论文提供了严格的理论分析证明了保持L2距离小的嵌入也能保持余弦相似度从而确保零样本分类性能。3. 即插即用训练好的FARE-CLIP可以直接替换任何使用CLIP的下游系统无需重新训练大大降低了部署成本。实验结果全面超越现有方法对抗鲁棒性测试在隐蔽目标攻击测试中结果令人印象深刻原始CLIP攻击成功率100%完全没有防御能力TeCoA攻击成功率降至0%但清洁输入的回答质量明显下降FARE攻击成功率同样为0%且清洁输入的回答质量几乎与原始CLIP相同多任务性能评估在多个基准测试中FARE都表现出色视觉-语言任务COCO、Flickr30k、VQA等FARE模型在清洁性能上比TeCoA平均高出5-10%在鲁棒性测试中同样优于TeCoA零样本分类任务FARE在13个数据集上的平均清洁准确率比TeCoA高出约7%鲁棒性水平相当或更好其他重要能力幻觉率降低FARE模型产生的错误信息更少推理能力保持在链式思维任务中表现更好越狱攻击防御对视觉越狱攻击有更强的抵抗力计算效率FARE的另一个重要优势是极高的计算效率只需要2个epoch的训练计算成本仅为原始CLIP训练的0.2%可以在相对较小的计算资源上完成技术深度实现细节与创新点损失函数设计的巧思FARE损失函数的设计体现了深刻的洞察传统对抗训练关注分类边界的鲁棒性FARE关注特征表示的稳定性这种差异使得FARE能够在保持鲁棒性的同时维持模型的原始能力理论基础论文提供的定理3.1建立了L2距离保持与余弦相似度保持之间的数学关系这为方法的有效性提供了严格的数学保证。攻击评估的全面性研究团队设计了极其全面的攻击评估框架使用10,000次迭代的强力攻击测试多种威胁模型ε2/255和4/255评估传输攻击的有效性包含现实场景中的隐蔽目标攻击实际应用意义对产业界的影响FARE的出现对AI产业具有重要意义提高AI系统安全性为大规模部署的视觉-语言模型提供了实用的安全保障降低防御成本无需重新训练复杂的下游系统大大降低了部署门槛增强用户信任减少了AI被恶意操控的风险有助于提高用户对AI系统的信任对研究界的启发从研究角度来看FARE展示了几个重要的研究方向特征保持的重要性在提高鲁棒性的同时保持原始能力是一个值得深入探索的方向无监督对抗训练相比有监督方法无监督方法可能具有更好的通用性多模态安全需要更多关注多模态模型的安全问题局限性与未来方向当前局限性论文也诚实地指出了方法的一些局限性主要针对CLIP架构虽然CLIP被广泛使用但其他类型的视觉编码器可能需要不同的处理方法仅防御视觉攻击对语言模态的攻击仍需要其他防御手段评估范围限制还需要在更多的指令跟随、可解释性等任务上进行评估未来研究方向基于这项工作未来可能的研究方向包括扩展到其他架构将类似思想应用到其他类型的多模态模型多模态联合防御同时提高视觉和语言模态的鲁棒性自适应攻击防御应对可能出现的针对FARE的新型攻击方法实时部署优化进一步优化计算效率支持实时应用结语构建更安全的AI未来FARE的提出标志着AI安全领域的一个重要进步。在AI系统越来越多地融入我们日常生活的今天确保这些系统的安全性和可靠性变得至关重要。这项研究不仅提供了一个技术上优雅的解决方案更重要的是它证明了在提高AI系统鲁棒性的同时保持其原有能力是可能的。这种平衡对于AI技术的实际部署至关重要。随着大型语言模型和视觉-语言模型的不断发展我们需要更多像FARE这样的研究在推进AI能力的同时确保这些强大的工具能够被安全、负责任地使用。只有这样我们才能真正实现AI技术造福人类的愿景。对于AI研究者和工程师来说FARE提供了一个值得深入学习的案例如何通过巧妙的算法设计和深刻的理论洞察来解决复杂的实际问题。对于AI系统的用户和决策者来说这项研究提醒我们关注AI安全的重要性并为构建更值得信赖的AI系统指明了方向。