CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models
文章核心总结与翻译一、主要内容本文针对大语言模型(LLMs)在动态文本转表格(T2T)任务中的鲁棒性问题,提出了一个基于板球实时解说的诊断基准测试集CMT-Bench。该基准聚焦于两个动态演化的表格(击球手表和投球手表)生成,要求模型在复杂的板球规则下进行长上下文状态跟踪、实体解析和跨片段聚合。研究通过三个核心维度探究模型鲁棒性:抽取式线索消融:对比包含/去除板球解说中嵌入式总结线索(如击球手出局时的统计摘要)的模型表现,分离抽取式捷径与真实推理能力;时间前缀扩展:通过逐步增加输入上下文长度(从5轮到完整局),测试模型在长文本中的稳定性;实体形式扰动:包括匿名化(替换为通用占位符)、分布外实体替换(用其他运动领域名字替换)、实体角色纠缠(改写句式模糊投球手/击球手角色),评估模型对表面形式变化的敏感度。实验覆盖6个主流长上下文LLMs(Gemini-2.5-Flash、Llama系列、Qwen系列、GPT-4o mini),结果表明:当前模型严重依赖抽取式线索(去除后行准确率平均下降87%);无线索时性能随上下文长度单调下降;实体形式扰动(尤其是角色纠缠)会导致准确率显著下降且数值误差分布发生显著偏移,证明现有LLMs在动态T2T任务中推理能力脆弱,过度依赖表面线索而非真实状态跟踪。二、创新点首个聚焦动态多表格生成的鲁棒性基准