NTK-Aware Scaled RoPE：通过神经正切核理论实现非微调情况下的上下文长度外推 大家好，今天我们要深入探讨一个非常有趣且实用的主题：NTK-Aware Scaled RoPE，以及它如何利用神经正切核（Neural Tangent Kernel, NTK）理论在不进行微调的情况下实现上下文长度的外推。这对于扩展现有大型语言模型（LLM）的应用范围，降低计算成本具有重要意义。 1. 上下文长度外推的挑战 大型语言模型（LLM）在训练时通常会限定一个最大上下文长度（例如4096 tokens）。然而，实际应用中，我们常常需要处理超出这个长度的序列。直接截断序列会导致信息丢失，而对整个模型进行微调以适应更长的上下文则需要大量的计算资源和时间。 现有的上下文长度外推方法主要分为两大类： 微调方法： 这类方法通过在更长的序列上微调模型来提升其处理长上下文的能力。然而，微调成本高昂，且可能导致模型遗忘已学习的知识。 非微调方法： 这类方法试图在不改变模型参数的情况下，通过修改模型的输入或输出，使其能够处理更长的上下文。例如，位置编码的插值、相对位置编码的缩放等。 NTK-Aware …