位置编码的“迷失中间”现象：为何大模型倾向于关注上下文的首尾而忽略中间信息 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

位置编码的“迷失中间”现象：大模型为何忽略上下文中间信息

大家好，今天我们来聊聊大语言模型（LLMs）中的一个有趣的现象——“迷失中间”（Lost in the Middle）。简单来说，就是大型模型在处理长文本时，往往更关注上下文的首尾部分，而对中间部分的信息重视程度较低，这可能会影响模型的理解和生成效果。

1. 什么是位置编码？

在深入探讨“迷失中间”之前，我们先来回顾一下位置编码。Transformer 模型，作为现代 LLMs 的基石，其核心特点之一就是自注意力机制。但自注意力机制本身是位置无关的，也就是说，它无法区分输入序列中不同位置的词语。为了让模型感知到词语的顺序信息，我们需要引入位置编码。

位置编码的目标是为序列中的每个位置添加一个独特的向量，这个向量能够编码位置信息，并与词嵌入向量结合，共同输入到模型中。常用的位置编码方法有两种：

绝对位置编码： 为每个位置分配一个固定的向量。
相对位置编码： 编码词语之间的相对距离。

1.1 绝对位置编码：正弦余弦函数

Transformer 论文中使用的就是基于正弦余弦函数的绝对位置编码。其公式如下：

PE(pos, 2i)   = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

其中：

pos 是词语在序列中的位置。
i 是维度索引 (0 <= i < d_model/2)。
d_model 是模型的维度。
PE(pos, *) 是位置 pos 对应的位置编码向量。

Python 代码示例：

import numpy as np

def positional_encoding(max_len, d_model):
  """
  生成正弦余弦位置编码。

  Args:
    max_len: 序列的最大长度。
    d_model: 模型的维度。

  Returns:
    一个形状为 (max_len, d_model) 的 numpy 数组，表示位置编码。
  """
  pos = np.arange(max_len)[:, np.newaxis]
  i = np.arange(d_model // 2)[np.newaxis, :]
  angle_rates = 1 / np.power(10000, (2 * i) / d_model)
  angle_rads = pos * angle_rates
  pe = np.zeros((max_len, d_model))
  pe[:, 0::2] = np.sin(angle_rads)
  pe[:, 1::2] = np.cos(angle_rads)
  return pe

# 示例
max_len = 10
d_model = 4
pe = positional_encoding(max_len, d_model)
print(pe)

这段代码首先创建位置和维度索引的数组，然后计算角度速率，最后使用正弦和余弦函数计算位置编码。请注意，偶数索引使用正弦函数，奇数索引使用余弦函数。

1.2 相对位置编码

相对位置编码不是直接编码绝对位置，而是编码两个词语之间的相对距离。常见的相对位置编码方法包括：

Transformer-XL 中的相对位置编码： 在计算注意力权重时，将相对位置信息融入到 query 和 key 向量的点积中。
T5 中的相对位置偏差： 为每个相对位置分配一个可学习的偏差，添加到注意力权重中。

简单相对位置编码示例（非 Transformer-XL 或 T5）：

import torch
import torch.nn as nn

class RelativePositionEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.embedding = nn.Embedding(num_embeddings, embedding_dim)

    def forward(self, sequence_length):
        # 创建相对位置索引
        positions = torch.arange(sequence_length).unsqueeze(0)
        relative_positions = positions - positions.transpose(0, 1)

        # 将相对位置索引偏移到正数范围
        relative_positions_offset = relative_positions + sequence_length - 1

        # 获取相对位置嵌入
        relative_embeddings = self.embedding(relative_positions_offset)
        return relative_embeddings

# 示例
embedding_dim = 4
sequence_length = 5
num_embeddings = 2 * sequence_length - 1 # 相对位置范围是 [-seq_len+1, seq_len-1]

relative_pos_embedding = RelativePositionEmbedding(num_embeddings, embedding_dim)
relative_embeddings = relative_pos_embedding(sequence_length)
print(relative_embeddings.shape) # torch.Size([5, 5, 4])

这个简单的例子创建了一个可学习的嵌入，用于编码序列中每对词之间的相对位置。重要的是，这个例子并不完全代表Transformer-XL或T5中使用的复杂技术。

2. “迷失中间”现象的定义及表现

“迷失中间”现象指的是，LLMs 在处理长文本时，对位于文本中间部分的信息的利用率远低于首尾部分。这意味着，如果关键信息出现在文本中间，模型可能无法有效地提取和利用这些信息，从而影响其性能。

具体表现：

信息检索任务： 在需要从长文档中检索特定信息的任务中，模型更容易检索到文档开头或结尾的信息，而忽略中间部分的信息。
问答任务： 如果问题的答案位于文档中间，模型的回答准确率会下降。
摘要生成任务： 模型生成的摘要可能更侧重于文档开头和结尾的内容，而忽略中间部分的关键信息。
文本续写任务： 模型在续写文本时，可能更依赖于最近的几个词语（即结尾部分），而忽略较早出现的、但仍然重要的信息。

实验证据：

最近的研究表明，“迷失中间”现象在各种 LLMs 中普遍存在。例如，一项研究（"Lost in the Middle: How Language Models Use Long Contexts"）表明，LLMs 在检索长文本中的信息时，性能呈现 U 型曲线，即模型在处理文档开头和结尾的信息时表现最好，而处理文档中间的信息时表现最差。

3. 为什么会出现“迷失中间”现象？

导致“迷失中间”现象的原因可能有很多，以下是一些主要的解释：

3.1 注意力衰减

Transformer 模型的核心是自注意力机制。在计算注意力权重时，模型需要计算每个词语与其他所有词语之间的相关性。随着序列长度的增加，计算量呈平方级增长。为了降低计算复杂度，一些模型可能会采用注意力稀疏化等技术，例如：

局部注意力： 每个词语只关注其周围的固定窗口内的词语。
全局注意力： 某些特殊的词语（如 CLS token）可以关注所有词语，而其他词语只关注局部窗口内的词语。

这些注意力稀疏化技术虽然可以降低计算复杂度，但也可能导致模型对中间部分的信息关注不足，从而加剧“迷失中间”现象。此外，即使没有显式的注意力稀疏化，注意力权重也可能随着距离的增加而衰减，导致模型更关注距离较近的词语。

3.2 位置编码的限制

虽然位置编码能够为模型提供位置信息，但它也存在一些限制。

外推性问题： 大多数位置编码方法在训练时都限定了最大序列长度。当模型处理超过训练长度的文本时，可能会遇到外推性问题，导致位置编码失效，从而影响模型对长文本的理解。
分辨率问题： 在长序列中，相邻位置的位置编码可能非常相似，导致模型难以区分它们，从而降低了位置信息的有效性。

3.3 上下文压缩

LLMs 在处理长文本时，实际上是在进行一种上下文压缩的过程。模型需要将整个上下文的信息压缩到一个固定长度的向量表示中，以便进行后续的预测或生成。在这个过程中，模型可能会优先保留最重要的信息，而忽略一些相对次要的信息。由于模型更关注文本的首尾部分，因此中间部分的信息更容易被压缩掉，从而导致“迷失中间”现象。

3.4 训练数据的偏差

LLMs 的训练数据可能存在偏差，例如：

短文本数据占比过高： 如果训练数据中短文本数据占比过高，模型可能难以学会处理长文本。
关键信息集中在首尾： 如果训练数据中关键信息通常出现在文本的首尾部分，模型可能会形成一种“首尾偏好”，从而忽略中间部分的信息。

4. 如何缓解“迷失中间”现象？

为了缓解“迷失中间”现象，研究人员提出了多种方法，以下是一些主要的策略：

4.1 改进位置编码

可学习的位置编码： 使用可学习的位置编码，允许模型根据任务自适应地学习位置信息的表示。
相对位置编码： 相对位置编码能够更好地捕捉词语之间的相对关系，并且具有更好的外推性。
扩展位置编码的范围： 通过调整位置编码的参数，使其能够覆盖更长的序列长度。

4.2 增强注意力机制

全局注意力与局部注意力相结合： 结合全局注意力和局部注意力，允许模型既关注全局信息，又关注局部细节。
Longformer 的滑动窗口注意力： Longformer 使用滑动窗口注意力机制，允许每个词语关注其周围的窗口内的词语，以及一些全局词语（如 CLS token）。
Big Bird 的随机稀疏注意力： Big Bird 使用随机稀疏注意力机制，允许每个词语随机关注一些其他词语，从而降低计算复杂度，并保持模型的表达能力。

4.3 优化训练策略

使用更长的训练序列： 使用更长的训练序列，让模型学会处理长文本。
引入长文本相关的预训练任务： 设计一些专门针对长文本的预训练任务，例如，长文本分类、长文本摘要等。
数据增强： 通过数据增强技术，生成更多的长文本数据，并平衡训练数据中不同位置信息的分布。

4.4 模型架构的改进

Recurrent Memory Transformer: 使用循环记忆模块来增强模型处理长序列的能力。
Hyena Hierarchy: 使用长卷积来建模长距离依赖关系，并减少计算复杂度。

4.5 信息检索增强生成 (Retrieval-Augmented Generation, RAG)

RAG 是一种将信息检索和文本生成相结合的技术。它通过从外部知识库中检索相关信息，并将这些信息与输入文本拼接起来，作为模型的输入。这样可以有效地缓解模型对长文本的依赖，并提高生成质量。RAG 可以减少对模型自身记忆的依赖，让模型更关注检索到的信息。

RAG 的简单实现示例：

from transformers import pipeline

# 1. 定义一个简单的知识库
knowledge_base = {
    "文章1": "这是一篇关于人工智能的文章，介绍了深度学习的基本概念。",
    "文章2": "这是一篇关于自然语言处理的文章，介绍了Transformer模型。",
    "文章3": "这是一篇关于计算机视觉的文章，介绍了卷积神经网络。",
}

# 2. 定义一个检索函数，根据查询语句从知识库中检索相关文章
def retrieve_relevant_articles(query, knowledge_base):
    # 简单实现：直接匹配关键词
    relevant_articles = []
    for article_name, article_content in knowledge_base.items():
        if query in article_content:
            relevant_articles.append(article_name)
    return relevant_articles

# 3. 定义一个 RAG 函数，将检索到的文章与查询语句拼接起来，作为模型的输入
def rag(query, knowledge_base, generator):
    relevant_articles = retrieve_relevant_articles(query, knowledge_base)
    if relevant_articles:
        context = ""
        for article_name in relevant_articles:
            context += knowledge_base[article_name] + "n"
        input_text = "Context: " + context + "Question: " + query
    else:
        input_text = query  # 如果没有找到相关文章，则直接使用查询语句作为输入

    # 4. 使用生成模型生成答案
    answer = generator(input_text)[0]['generated_text']
    return answer

# 5. 使用 Hugging Face Transformers 库加载一个文本生成模型
generator = pipeline("text-generation", model="gpt2")

# 6. 示例
query = "什么是深度学习？"
answer = rag(query, knowledge_base, generator)
print(answer)

这个简单的例子展示了 RAG 的基本原理。实际应用中，检索函数可以使用更复杂的算法，如 BM25 或 Faiss，以提高检索精度。

5. 未来研究方向

“迷失中间”现象仍然是一个活跃的研究领域。未来的研究方向可能包括：

更有效的长文本建模方法： 探索更有效的长文本建模方法，例如，基于层次化结构的 Transformer 模型。
自适应注意力机制： 设计能够自适应地调整注意力范围的注意力机制，使其能够根据输入文本的特点，自动调整对不同位置信息的关注程度。
可解释性研究： 深入研究 LLMs 如何处理长文本，并理解“迷失中间”现象的内在机制。

6. 表格总结缓解方法

策略	方法	优点	缺点
改进位置编码	可学习的位置编码	根据任务自适应地学习位置信息的表示	需要更多的训练数据
	相对位置编码	更好地捕捉词语之间的相对关系，具有更好的外推性	相对位置信息的计算可能更复杂
	扩展位置编码的范围	使其能够覆盖更长的序列长度	可能会降低位置信息的分辨率
增强注意力机制	全局注意力与局部注意力相结合	既关注全局信息，又关注局部细节	计算复杂度较高
	Longformer 的滑动窗口注意力	降低计算复杂度，并保持模型的表达能力	可能忽略窗口外的关键信息
	Big Bird 的随机稀疏注意力	降低计算复杂度，并保持模型的表达能力	随机性可能导致模型性能不稳定
优化训练策略	使用更长的训练序列	让模型学会处理长文本	需要更多的计算资源
	引入长文本相关的预训练任务	提高模型处理长文本的能力	需要设计合适的预训练任务
	数据增强	生成更多的长文本数据，并平衡训练数据中不同位置信息的分布	需要设计有效的数据增强方法
模型架构改进	Recurrent Memory Transformer	增强模型处理长序列的能力	模型结构更复杂
	Hyena Hierarchy	使用长卷积来建模长距离依赖关系，并减少计算复杂度	卷积操作可能无法捕捉到所有重要的信息
RAG	信息检索增强生成	减少对模型自身记忆的依赖，让模型更关注检索到的信息，有效缓解长文本依赖	依赖于外部知识库的质量和检索算法的性能，需要维护知识库，检索过程可能引入噪声信息

模型的改进空间

总的来说， “迷失中间”现象是当前 LLMs 在处理长文本时面临的一个重要挑战。通过改进位置编码、增强注意力机制、优化训练策略和改进模型架构，我们可以有效地缓解这一现象，并提高 LLMs 在各种长文本任务中的性能。希望通过今天的分享，大家对“迷失中间”现象有了更深入的理解，并在未来的研究和实践中，能够更好地应用 LLMs。