标签： contrastive

发布于

CPO（Contrastive Preference Optimization）：在拒绝采样中引入对比损失以提升模型判别力

CPO（Contrastive Preference Optimization）：在拒绝采样中引入对比损失以提升模型判别力 大家好，今天我们要深入探讨一种新兴的强化学习方法——对比偏好优化（Contrastive Preference Optimization，简称CPO）。CPO的核心思想是在拒绝采样（Rejection Sampling）过程中引入对比损失，从而增强模型区分不同行为轨迹优劣的能力，最终提升强化学习模型的性能和稳定性。 1. 引言：偏好学习与拒绝采样的局限性 在强化学习领域，训练智能体模仿人类或其他专家的行为是一个重要的研究方向。偏好学习（Preference Learning）是实现这一目标的关键技术。它允许我们通过人类的偏好标注（例如，选择哪个行为轨迹更好）来指导模型的学习，而无需明确的奖励函数。 然而，直接从偏好数据中学习并非易事。一种常用的方法是拒绝采样。拒绝采样的基本思路是： 生成多个候选行为轨迹： 模型（例如，一个策略网络）生成若干个可能的行为轨迹。 评估偏好： 使用偏好模型（通常是一个分类器）来评估这些轨迹，判断哪个轨迹更符合偏好。 选择最优轨迹： 选择 …

继续阅读“CPO（Contrastive Preference Optimization）：在拒绝采样中引入对比损失以提升模型判别力”

发布于

对比解码（Contrastive Decoding）：减去小模型Logits以惩罚常见的一般性回答

对比解码 (Contrastive Decoding): 减去小模型 Logits 以惩罚常见的一般性回答 大家好，今天我们来深入探讨一种颇具潜力的大语言模型（LLM）解码策略：对比解码 (Contrastive Decoding)。这种方法的核心思想是通过引入一个较小的模型，并利用其输出来引导大型模型生成更加多样化、信息量更丰富的文本，从而避免生成过于常见和泛化的回答。 问题背景：大语言模型的通病 尽管大语言模型在生成文本方面取得了显著进展，但它们仍然容易产生一些共有的问题： 生成过于常见和泛化的回答 (Generic Responses): LLM 倾向于生成高概率、安全但缺乏新意的回答。例如，当被问及某个复杂概念时，模型可能只会给出教科书式的定义，而缺乏深入的分析或独特的见解。 缺乏创造力 (Lack of Creativity): LLM 往往缺乏创造性，无法生成新颖的、出人意料的文本。这限制了它们在需要创新性输出的任务中的应用，例如故事创作、诗歌生成等。 易受训练数据偏见的影响 (Bias Amplification): LLM 的生成结果容易受到训练数据中存在的偏见的影响， …

继续阅读“对比解码（Contrastive Decoding）：减去小模型Logits以惩罚常见的一般性回答”