1 背景
- 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低
- ——>需要一个可提供外推性的位置编码
- 最经典的绝对位置编码就是原始Transformer中的那个sinusoidal位置编码了：
2 RoPE
2.1 motivation
- RoPE通过绝对位置编码实现相对位置编码
- 以实现有效外推
- 我们现在有query词向量q，对应的位置m；key词向量k，对应的位置n
- 我们希望学一个词向量和位置信息结合的函数f【经典Transformer的f是用m,n计算sinusoidal位置编码，然后将位置编码向量和q/k相加】
- 经过f后得到的query向量和key向量都是位置感知的词向量
- RoPE希望
之间的点积能够带有相对位置信息m-n
- 也就是希望存在另一个函数，使得：
- 也就是希望存在另一个函数，使得：
2.2 RoPE的f函数
2.2.1 二维向量
- 对于二维词向量，结论是：
- 这里θ是一个常数
- 此时
2.2.2 多维向量
在原始论文Roformer: Enhanced Transformer With Rotray Position Embedding中，这里直接
所以有：
上面的矩阵乘法等价于如下的实现方式
