好的，下面我将以讲座的形式，详细讲解 Query-Key Normalization (Q-K Normalization) 这种稳定 Attention 分数分布的技术。 讲座：Query-Key Normalization (Q-K Normalization) 的原理与实践 大家好，今天我们来讨论一下 Query-Key Normalization，这是一种用于稳定 Transformer 模型中 Attention 分数分布的技术。Attention 机制是 Transformer 模型的核心，它的稳定性和训练效果直接影响着模型的性能。 1. Attention 机制的回顾 首先，我们快速回顾一下标准的 Scaled Dot-Product Attention 机制。给定 Query (Q), Key (K), 和 Value (V) 三个矩阵，Attention 的计算公式如下： Attention(Q, K, V) = softmax(Q Kᵀ / √dₖ) V 其中： Q ∈ ℝ^(N × dₖ) 是 Query 矩阵，N 是 Query 的数量，dₖ 是 Query 和 …
继续阅读“Query-Key Normalization：对Q和K向量进行LayerNorm以稳定Attention分数的分布”