Quiet-STaR：在预训练数据中隐式学习生成推理步骤的自监督方法 大家好，今天我们来深入探讨一篇很有意思的论文，名为 Quiet-STaR，它提出了一种在预训练数据中隐式学习生成推理步骤（Rationales）的自监督方法。这个方法的核心在于如何让模型在没有显式监督信号的情况下，也能学会像人类一样进行逐步推理，最终给出答案。 1. 背景：显式推理与隐式推理 在自然语言处理领域，尤其是问答系统和常识推理领域，让模型具备推理能力至关重要。传统的做法是提供显式的推理步骤作为监督信号，例如： Chain-of-Thought (CoT): 训练模型生成一系列中间推理步骤，最终得出答案。 Program Synthesis: 将问题转化为可执行的程序，通过执行程序得到答案。 这些方法依赖于人工标注的推理步骤，成本很高，并且可能限制模型的泛化能力。 另一种思路是隐式推理，即让模型在没有显式监督的情况下，学习到推理能力。Quiet-STaR就属于这一类方法，它利用预训练数据的内在结构，引导模型学习推理。 2. Quiet-STaR的核心思想 Quiet-STaR的核心思想是，预训练数据中已经包含 …
Quiet-STaR：大模型在生成每个Token前进行隐式内部推理（Thinking）的训练方法
Quiet-STaR：大模型隐式内部推理训练方法详解 各位同学，大家好。今天我们来深入探讨一种针对大型语言模型的训练方法，名为 Quiet-STaR (Quiet Self-Training with Rationale)。这种方法的核心思想是在模型生成每个token之前，促使其进行隐式的内部推理，从而提升模型的推理能力和生成质量。 1. 背景：大型语言模型的推理挑战 大型语言模型（LLMs）在各种自然语言处理任务中表现出色，但它们在复杂推理、多步问题解决等方面仍然面临挑战。传统的训练方法通常侧重于最大化生成文本的概率，而忽略了模型内部的推理过程。这导致模型在面对需要深层理解和逻辑推理的任务时，容易出现幻觉（hallucination）或产生不一致的结果。 例如，对于一个简单的数学题：“小明有3个苹果，小红给了他2个，现在小明有几个苹果？”，一个仅仅基于文本概率的模型可能直接输出“5”，而没有真正理解题意和进行加法运算。 2. Quiet-STaR 的核心思想 Quiet-STaR 方法旨在解决上述问题，其核心思想是：在模型生成每个token之前，强制模型进行一次“隐式推理”（Quie …