ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models
文章总结与翻译一、主要内容研究背景:大型音频语言模型(LALMs)结合声学感知与大语言模型能力,可从音频中提取多样信息,但现有模型对指令表述高度敏感,会影响指令遵循率和任务性能,而目前缺乏系统全面的相关基准测试。核心贡献:提出ISA-Bench基准测试,从指令描述(D维度)、输出格式(F维度)、任务组合(N维度)三个维度动态评估LALMs的指令敏感性。测试设计:涵盖5类原子任务(自动语音识别ASR、语音到文本翻译S2TT、语音情感识别SER、性别识别GR、音频字幕生成AAC)和基于ASR、SER、GR的复合任务;通过LLM重写生成多样化指令变体,采用合规感知指标(MetricIF)和相对性能分数(RPS)进行评估。实验结果:即使最先进的LALMs仍存在显著指令敏感性,指令形式变化会导致性能大幅下降;基于多样化指令的监督微调(SFT)可提升指令遵循能力,但会引发严重的灾难性遗忘(模型丢失已掌握的任务能力);不同模型各有优劣,DeSTA2.5-Audio指令遵循能力最优,Gemini 2.5 Pro在JSON格式约束下表现不佳,GPT-4o-Audio存在性别识别缺陷且输出易含额外评论。研究意义:为评估和改进LALMs的指令敏感性提供标准化基准,强调真实场景中音频理解需具备指令鲁棒性。