去重对“记忆”的影响：过度去重是否会损害模型对罕见知识的检索能力 各位同学，大家好。今天我们来探讨一个在自然语言处理（NLP）领域中非常重要且容易被忽视的问题：去重对模型“记忆”的影响，尤其是过度去重是否会损害模型对罕见知识的检索能力。 在训练大型语言模型（LLM）时，数据去重是一个常见的预处理步骤。其目的在于消除训练数据中的冗余信息，提高训练效率，并降低模型过拟合的风险。然而，过度去重可能会导致模型遗忘一些罕见但重要的知识，从而影响其在特定任务上的表现。接下来，我们将深入分析去重的原理、去重带来的益处与潜在风险，并通过实验佐证我们的观点。 1. 去重的基本原理和常用方法 去重的核心思想是识别并移除数据集中重复或高度相似的样本。这里的“重复”和“相似”的定义可以有多种，对应不同的去重方法。 精确去重 (Exact Deduplication): 这是最简单的一种方法，直接比较数据集中每个样本的字符串是否完全一致。在文本数据中，这意味着两个文本段落必须完全相同才会被认为是重复的。 def exact_deduplication(data): “”” 精确去重函数. Args: data: …