Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language ...
文章总结与翻译一、主要内容本文聚焦多模态大型语言模型(MLLMs)在文档图像质量评估(DIQA)领域的能力缺口,提出了名为Q-Doc的三级评估基准框架,系统探究MLLMs在文档图像质量感知上的表现。数据集构建:基于SmartDoc-QA数据集,整理了4260张真实世界文档图像,涵盖现代表单、历史信件、收据三大类共30份文档,包含单失真(如曝光不足、运动模糊、失焦等)和复合失真两种类型,提供了细粒度标注。三级评估框架:粗粒度层面:要求模型对文档图像质量进行评分(优秀/良好/一般/较差/糟糕),通过Spearman等级相关系数(SRCC)和Pearson线性相关系数(PLCC)衡量与人工标注的一致性;中粒度层面:设计单失真分类(四选一)和多失真识别(多选)任务,采用原始准确率和平衡准确率评估模型对失真类型的识别能力;细粒度层面:让模型判断每种失真的严重程度(良好/中等/较差),针对单失真和多失真图像分别评估,对多失真图像采用分层查询策略以区分不同失真维度。优化与实验:引入思维链(CoT)提示策略,通过引导模型思考文本可读性、光照均匀性等关键因素提升评估性能;对6款代表性MLLMs(含开源模型如DeepSeek-VL2、GLM-4V和商业模型GPT-4o)进行零样本评估,发现MLLMs虽具备初步DIQA能力,但存在评分不一致、失真识别错误、严重程度误判等问题,而CoT提示能显著改善各层面