Logit Lens透视：解码Hidden States以分析模型推理置信度 各位来宾，大家好。今天我们来探讨一个有趣且实用的主题：利用 Logit Lens 方法，直接解码模型中间层的 Hidden States，以此分析模型推理过程中置信度的变化。这是一种深入理解模型内部运作机制，并可能用于模型调试、优化和解释性的强大技术。 1. 背景与动机 深度学习模型，尤其是大型语言模型（LLMs），在各种任务中表现出色。然而，它们通常被视为“黑盒”，我们很难理解它们做出特定决策的原因。传统的模型分析方法，例如梯度分析或注意力机制可视化，虽然有用，但往往只能提供有限的信息。 Logit Lens 提供了一种不同的视角：直接观察模型内部的 Hidden States，并通过线性变换将其映射到词汇表空间，从而预测模型的下一步输出（logits）。通过比较预测的 logits 与实际的 logits，我们可以深入了解模型在不同推理阶段的置信度变化以及可能的偏差。 这种方法的主要动机包括： 可解释性： 了解模型如何逐步构建其预测，以及哪些因素影响了最终的决策。 模型调试： 识别模型在推理过程中出现的错 …
Logit Lens技术：直接将中间层Hidden State投影到词表以透视推理过程
Logit Lens：窥视语言模型的推理黑盒 大家好，今天我们来探讨一个令人着迷的技术——Logit Lens。这个技术提供了一种直接而简洁的方式，去理解大型语言模型（LLM）内部的推理过程，它允许我们“透视”模型中间层的隐藏状态，并将其直接映射到词汇表，从而揭示模型在不同阶段对下一个词的预测。 长期以来，大型语言模型都被视为一个黑盒子。我们输入文本，模型输出结果，但我们很难理解模型内部发生了什么，为什么会做出这样的预测。Logit Lens的出现，为我们打开了一扇窗，让我们能够窥视模型内部的决策过程。 1. Logit Lens的核心思想 Logit Lens的核心思想非常简单：将Transformer模型中间层的隐藏状态（Hidden State）直接投影到词汇表空间，得到一个与词汇表大小相同的logits向量，然后分析这个logits向量，就可以了解模型在当前层对下一个词的预测倾向。 传统的理解模型的方式，通常是基于梯度分析、注意力机制可视化等方法。这些方法虽然有用，但通常比较间接，而且难以解释。Logit Lens则提供了一种更加直接和可解释的方法。 让我们用公式来表达这个过程 …