Lookahead Decoding：利用Jacobi迭代法实现无需Draft Model的并行解码加速 大家好，今天我们来深入探讨一种新型的并行解码加速方法：Lookahead Decoding，它巧妙地运用了Jacobi迭代法，并且最关键的是，它不需要依赖任何Draft Model。这在实际应用中具有非常重要的意义，因为省去了训练Draft Model的成本和复杂性，使得解码过程更加高效和灵活。 1. 传统自回归解码的瓶颈 在深入了解Lookahead Decoding之前，我们先回顾一下传统的自回归解码过程。以Transformer模型为例，解码器每次只能生成一个token，然后将这个token作为输入，预测下一个token，依此类推，直到生成终止符或者达到最大长度。 这个过程的数学表达如下： P(y_1, y_2, …, y_T | x) = ∏_{t=1}^{T} P(y_t | y_{<t}, x) 其中，x是输入序列，y_t是第t个生成的token，y_{<t}是已经生成的token序列。 这种自回归的特性带来了严重的瓶颈： 串行计算： 每个token的生 …