StreamingLLM：利用Attention Sink实现无限长度流式对话 大家好，今天我们要深入探讨一个非常有意思且极具潜力的技术：StreamingLLM，它利用Attention Sink（注意力汇聚点）机制，实现了无限长度的流式对话。这意味着，我们不再受限于Transformer架构固有的上下文长度限制，可以构建真正能够“记住”并理解长期对话历史的LLM系统。 1. 背景：Transformer的上下文长度瓶颈 Transformer模型在自然语言处理领域取得了巨大成功，但其核心的自注意力机制也带来了一个显著的瓶颈：计算复杂度和内存消耗随序列长度呈平方级增长。这意味着，随着输入序列的长度增加，Transformer的计算资源需求呈指数级增长，很快就会达到硬件的极限。 传统的解决方案包括： 截断（Truncation）： 直接丢弃超出上下文窗口的部分历史信息。这是最简单粗暴的方法，但损失了关键的上下文信息，严重影响了对话的连贯性和一致性。 滑动窗口（Sliding Window）： 只关注当前窗口内的上下文信息，窗口随着对话的进行而滑动。这种方法保留了一部分上下文，但窗口大小 …