文章核心总结与创新点主要内容本文提出了一个名为CREATIVITYPRISM的LLM创造力评估框架,将创造力分解为质量、新颖性和多样性三个核心维度,涵盖发散思维、创意写作、逻辑推理三大领域的9项任务和20个评估指标。通过对17个主流开源和专有LLM的测试发现:专有模型在创造力表现上显著优于开源模型,尤其在逻辑推理和创意写作领域;同一领域内的任务表现相关性强,而跨领域相关性弱;多样性与质量维度的表现高度相关,但两者与新颖性维度相关性较低,证明单一任务或维度无法全面衡量LLM的创造力。创新点提出首个整合质量、新颖性、多样性三维度的 holistic创造力评估框架,解决现有评估碎片化问题。覆盖三大核心领域和9项代表性任务,结合20个任务专属指标,实现多场景下的规模化自动评估。系统分析了17个SOTA模型的创造力表现,揭示了模型在不同维度、领域间的性能关联规律。验证了LLM-as-a-judge的可靠性,为创造力评估提供了高效、可扩展的自动解决方案。翻译部分(Markdown格式)Abstract创造力通常被视为人类智能的标志。尽管大型语言模型(LLMs)越来越多地被认为能够生成富有创意的文本,但目前仍缺乏一个全面的框架来评估它们在不同场景下的创造力。现有评估方法较为零散,在不同领域和任务间存在巨大差异,这主要源于对创造力的定义和衡量方式各不相同