多目标RLHF：在有用性、安全性与诚实性之间寻找帕累托最优解的标量化技术 大家好，今天我们来深入探讨一个在大型语言模型（LLM）对齐领域至关重要的话题：多目标强化学习与人类反馈（RLHF），以及如何通过标量化技术在有用性、安全性与诚实性这三个关键目标之间找到帕累托最优解。 1. 引言：为什么需要多目标RLHF？ 传统上，强化学习的目标是最大化单个奖励函数。但在LLM的上下文中，我们期望模型同时表现出多种期望的特性，例如： 有用性（Helpfulness）： 模型能够准确、完整地回答用户的问题，并提供有价值的信息。 安全性（Safety）： 模型不应生成有害、歧视性、煽动仇恨或违反法律的内容。 诚实性（Harmlessness/Truthfulness）： 模型应避免捏造事实、误导用户或传播不准确的信息。 简单地将这些目标组合成一个单一的奖励函数通常会导致次优的结果。例如，为了追求安全性，模型可能会变得过于谨慎，从而牺牲了有用性。为了追求有用性，模型可能会忽略安全性，生成有害内容。因此，我们需要一种能够平衡这些相互冲突的目标的方法。这就是多目标RLHF发挥作用的地方。 2. 多目标RLH …
Best-of-N采样的帕累托前沿：推理计算量与生成质量之间的Scaling Law
Best-of-N采样的帕累托前沿：推理计算量与生成质量之间的Scaling Law 大家好，今天我们来探讨一个在生成模型领域非常重要的主题：Best-of-N采样策略，以及它与推理计算量和生成质量之间的Scaling Law。在深度学习模型，尤其是生成模型中，采样策略的选择对最终生成结果的质量有着至关重要的影响。Best-of-N采样作为一种常见的策略，通过生成多个候选样本并选择其中最优的样本来提升生成质量。但是，这种策略的计算成本也相应增加。因此，理解Best-of-N采样背后的Scaling Law，也就是推理计算量与生成质量之间的关系，对于在实际应用中进行权衡至关重要。 1. 生成模型中的采样策略 在深入Best-of-N采样之前，我们先简单回顾一下生成模型中常用的采样策略。生成模型，例如Variational Autoencoder (VAE)、Generative Adversarial Network (GAN) 和自回归语言模型 (如GPT系列)，的目标是学习数据的分布，并能够从中生成新的样本。采样策略决定了我们如何从模型学习到的分布中抽取样本。 常见的采样策略包括： …