这一篇就来展开 Transformer-XL 配套的改进方案跨窗口的相对位置编码。为什么要提出跨窗口的 RPE#1.1 正余弦绝对编码的局限#我们还是用上一篇的例子来展开这个问题假设模型上下文窗口长度为 4一段长文本被切成了两个 segmentSegment 1 Segment 2Position 1 A EPosition 2 B FPosition 3 C GPosition 4 D H引入 Memory 后Segment 2 中的 token 可以看到 Segment 1 的编码信息。但模型无法区分 位置 4 到底是指 D第一个 segment 的末尾还是 H第二个 segment 的末尾。那可不可以这样利用正余弦的无限外推能力直接让位置编码跨 segment 递增不就行了Segment 1 用位置 1~4Segment 2 用位置 5~8但问题在于正余弦位置编码虽然可以理论上无限生成却并不意味着模型真的具备无限长度泛化能力。要理解这一点我们需要明白的是PE 只是帮助学习的一环。注意力真正的学习是词嵌入、位置编码、QKV 矩阵等综合实现的这些实际上都是在训练长度范围内形成的。假设模型训练的上下文长度为 512那么模型长期接触的位置范围其实只有 0 ~ 512它会在这个空间内形成比较稳定的分布。但如果采用跨 segment 递增出现了一个 PE(512000)模型没有在这种位置分布上训练过导致无法泛化。从专业名词上说这叫extrapolation degradation外推退化。这时就像让一个每天练习正常考试题的学生没有任何防备的去做竞赛题。巨大的差异会直接影响原本已经稳定的“解题思路”。从而导致KQV 矩阵投影异常、注意力得分漂移等问题。总结来说就是强行使用看似合理实际却不适配的配件表面上解决了问题但实际却带来了更多 bug。因此单纯使用全局递增的绝对位置编码实际上并不能真正跨段的长上下文建模。1.2 可学习绝对编码的局限#相比正余弦绝对编码可学习绝对编码的局限就更明显了完全没有外推能力。展开来说Transformer 中的可学习绝对位置编码本质上其实是一张位置查找表当我们设置上下文长度为 512 时 它就为每个位置初始化一组向量作为位置编码并注入在反向传播中不断更新。它不是位置越大自动推导而只是“训练时记住了这个位置应该长什么样”。所以当采用跨 segment 递增出现了一个 PE(512000但可学习绝对编码只到PE512。而要增加就又回到了最初的窗口大小和计算量问题。最终可学习绝对位置编码因为本质上无法支持无限长度扩展不适用于 Transformer-XL 。1.3 原始 RPE 的局限#在原始 RPE中我们介绍了 Shaw 等人提出的相对位置编码引入可学习的和分别加到 Key 和 Value 上。从逻辑上说相对位置天然就是跨窗口的但过去的水救不了现在的火原始 PRE 存在两个待优化问题可学习的相对位置表有长度限制。 如果训练时最大相对距离是 10而需要分段的长序列相对距离可能达到几千这时候查表查不到只能截断信息丢失严重。K/V 加法注入的方式过于粗糙。 它只是简单地把位置信息线性叠加到语义表示上无法形成更丰富的交互。因此Transformer-XL 并没有直接用原始 RPE而是重新设计了一套相对位置编码方案。2.正余弦相对位置编码#现在我们知道了 Transformer-XL 必须使用 RPE 在正式展开其注入逻辑前我们需要先了解 Transformer-XL 本身对编码逻辑的设计正余弦相对位置编码。一个问题是“继续沿用原始 RPE 的相对位置表不可以吗”就像这样相对距离 编码-1-2-3原因就是我们上面提到的可学习的相对位置表有长度限制外推能力不足。于是 Transformer-XL 做了一个非常关键的决定重新使用正余弦函数生成相对编码。具体来说对于相对距离Transformer-XL 会直接使用正余弦函数生成对应位置编码公式本身的计算逻辑和原始 Transformer的正余弦绝对编码没有任何区别只是把绝对位置变成了相对距离。假设位置编码维度维度 公式 计算结果最终得到这就是 “相对距离为 -2” 对应的相对位置编码它完善了长序列中的位置编码相比绝对编码具有更好的泛化性。不过这里需要注意的是这种编码仍然存在上面提到的正余弦绝对编码的局限。因为模型中的QKV 投影矩阵、Attention 模式等本质上仍然是在有限上下文范围内训练得到的不能通过单独的编码设计就完全解决这些问题。因此也催生了后续的更多改进。跨窗口的 RPE#现在我们通过正余弦相对位置编码解决了原始 RPE 可学习的相对位置表有长度限制的问题一下个问题就是K/V 加法注入的方式过于粗糙。而 Transformer-XL 的做法并不是继续修补原始 RPE而是重新推导 Relative Attention 的计算形式。还是先回忆一下普通 Self-Attention 公式其中计算注意力分数的部分是但问题在于原始的它只包含“内容”没有真正包含“位置关系”所以原始 RPE 才会把 RPE 注入到 Attention 中。而现在这部分再次被重新改写为这也是 Transformer-XL 最核心的 Relative Attention 公式。看起来很复杂但它其实只是把“内容”和“位置”进行了分开建模。我们分点来看3.1 内容项和位置项#先来看前两项其中其实就是普通 Self-Attention 的逻辑Query 和 Key 的语义相似度。但还是老问题Attention 不仅需要“内容信息”还需要“位置信息”。于是 Transformer-XL 额外加入了这项的语义是 “当前 Query 更倾向关注什么距离的位置”。通过反向传播模型会逐渐把这些 “距离规律” 也学习进 Attention 中。3.2 内容偏置和位置偏置#在上一项完成后还没结束因为作者发现仅仅让 Query 感知位置其实还不够。于是 Transformer-XL 又进一步加入了这两项全局偏置。先来看这里的是一个可学习向量。它不再依赖于个具体位置的 Query而是在像偏置一样是计算中的全局偏好。可以把它理解成这个自注意力头天然更喜欢关注什么类型的信息。同理对于这里的同样是一个可学习向量它学习的是这个自注意力头天然更偏好什么距离。这便是跨窗口的 RPE 的完整逻辑。首先它通过正余弦相对编码改善了原始 RPE 的建表大小问题让编码拥有从理论上无限外推的能力又相对绝对编码提高了泛化能力。其次它不再把位置信息简单的注入 K/V 而是让其真正参与注意力计算让位置不再只是辅助信息而是真正开始影响注意力组成。此外Transformer-XL 删除了原始 RPE 中对 Value 的位置注入。原因在于作者认为位置真正需要影响的其实是“关注谁”而不是“传递什么内容”。但其实后续也有别的模型又把 V 加回去了所以这只是选择和讲故事问题不再多说了。最后还有一点需要提到的是原论文还提到了一种工程优化技巧叫做 Relative Shift是为了在实际运算中高效计算但因为其只是一种计算技巧在后续也出现了许多代替方案就不再展开了。image.png