文章总结与翻译一、主要内容本文围绕大型语言模型（LLM）中关系解码线性算子的结构展开研究，核心内容包括：研究基础：基于Hernandez等人2023年的研究，其发现Transformer模型中特定关系（如“首都属于国家”）的主语嵌入到宾语嵌入的转换可通过线性关系嵌入（LRE）矩阵近似表示。本文将该单一关系研究扩展到多关系集合，探索其整体组织规律。核心发现：多关系解码器集合可通过3阶张量网络大幅压缩，且解码准确率无显著损失，揭示了关系间的冗余性。线性关系解码器并非编码特定关系，而是提取跨关系的粗粒度语义属性（如“国家相关”属性涵盖首都所属国家、食物来源国家等关系），这种属性中心结构解释了压缩可行性和泛化局限性（仅对语义相近的新关系泛化）。实验设计：模型与数据集：使用GPT-J、Llama 3.1 8B、GPT-NeoX-20B三种LLM，以及Hernandez原数据集（47个独立关系）、扩展数据集（79个含语义重叠的关系）和数学数据集（算术运算关系）。关键方法：提出交叉评估协议（将一个关系的解码器应用于其他关系的主语）验证语义相似性；设计两种张量网络架构（SimpleOrder3Network和TriangleTensorNetwork）实现压缩；通过随机化嵌入实验验证关系、主语和宾语嵌入的重要性。