RoPE（旋转位置编码）详解

RoPE 通过旋转矩阵将位置信息融入注意力计算，实现相对位置编码，支持任意长度外推。

核心思想

将词向量视为复数空间中的向量，通过旋转操作引入位置信息：

其中 是旋转矩阵，旋转角度 与位置 成线性关系。

数学形式

对于维度 的向量，每两个维度为一组，旋转矩阵为：

其中 ， 是维度组索引。

注意力计算

仅依赖相对位置 ，满足相对位置编码的平移不变性。

优势

• 外推性：训练时未见的长序列仍可计算（旋转矩阵可任意扩展）
• 相对位置：注意力分数仅依赖相对距离
• 线性注意力：可改写为线性形式，提升长序列效率

应用

RoPE 是 LLaMA、Qwen 等主流开源大模型的标准位置编码方案，也是 FlashAttention-2 等优化技术的基础。