ToMMeR -- Efficient Entity Mention Detection from Large Language Models
文章核心总结与翻译一、主要内容ToMMeR(Token-Matching Mention Recognition)是一种轻量级实体提及检测模型,旨在从大型语言模型(LLM)的早期层中高效提取实体提及(即识别文本中指向实体的文本片段)。该模型仅含不到30万个参数,无需提示工程、模式输入或文本生成,通过冻结LLM骨干网络并探测其早期层表示,实现了高性能的提及检测。在13个命名实体识别(NER)基准测试中,ToMMeR的零样本召回率达93%,经LLM判定的精确率超90%,且极少产生虚假预测。跨模型分析表明,不同架构(1400万至150亿参数)的LLM在提及边界识别上高度一致(DICE系数75%),证实提及检测是语言建模的自然涌现能力。当扩展跨度分类头后,ToMMeR在标准基准测试中实现了接近最先进水平的NER性能(F1值80%-87%),为信息提取管道提供了模块化、与模式无关的高效解决方案。二、创新点轻量级探测架构:仅需不到30万参数,可在几小时内完成训练,无需修改LLM参数,直接从LLM早期层提取提及跨度,避免了提示依赖和高延迟问题。涌现能力验证:通过跨模型、跨层分析,证实不同规模和架构的LLM均能稳定编码实体提及边界,且该能力在模型早期层即已形成,并非特定数据集或架构的产物。零样本泛化与灵活扩展:在13个不同领域的NER基准测试中实现高召回率,支持零样本迁移;扩展分类头后可快速适配完整NER任务,在 autoregr