层次分解位置编码让BERT可以处理超长文本-CSDN博客绝对位置编码的外推性是一个明显缺点但是层次分解可以使得绝对位置编码能外推到足够长的范围同时保持还不错的效果。公式一是用基底表示新的绝对位置编码向量推导了一下已训练好的绝对位置编码向量和位置编码基底之间的对应关系比较简单。这样就可以将已训练好的绝对位置编码向量和新的绝对位置编码向量进行对应并且满足前n个新的绝对位置编码向量和已训练好的n个绝对位置编码向量一一对应