一句话定义
线性注意力用核函数把 softmax 注意力改写成可累积的形式：φ(q) · Σ φ(k)v，从而按前缀和线性扫描；RWKV 则用时间混合和通道混合的循环状态代替注意力矩阵。
为什么需要它们
Softmax 注意力要算完整的 N×N 矩阵，长序列下计算和显存都是 O(n²)。线性注意力和 RWKV 都把复杂度降到 O(n)，更适合长上下文和流式推理。
怎么工作
- 线性注意力：用特征映射 φ 替换 softmax，利用矩阵乘法结合律，先累积 K/V 再与 Q 相乘；因果版本用前缀和。
- RWKV：token shift + time-mix（WKV 递推）+ channel-mix；训练时可以并行，推理时像 RNN 一样逐步更新状态。
- 两者都不显式构造 N×N 注意力矩阵，但表达方式不同。
关键取舍
- 线性时间、状态固定，长序列和流式场景有优势。
- 表达力通常弱于完整 softmax 注意力，精确检索和复杂推理要评测。
- 短序列未必更快；算子和硬件适配会影响实际收益。
- 线性注意力的核函数选择（elu、relu 等）会影响数值稳定性与效果。
- RWKV 的生态与工具链不如 Transformer 成熟。
常见误区
- 线性注意力不是“把 softmax 去掉”，而是换了一种可分解的核。
- RWKV 不是标准 Transformer 的注意力变体，它用循环状态替代注意力矩阵。
- 线性复杂度不等于质量更好；任务适配和训练数据同样关键。
用在哪里
- 超长文本、流式生成、端侧/边缘推理。
- 作为混合架构的线性分支，与局部注意力互补。
- 研究长上下文时，用来对比 softmax、SSM 和稀疏注意力。
相关概念
- Mamba 与 SSM：另一条线性时间路线。
- Attention：被替换或近似的机制。
- 上下文窗口：长上下文需求的来源。