Logit Lens透视：解码Hidden States以分析模型推理置信度 各位来宾，大家好。今天我们来探讨一个有趣且实用的主题：利用 Logit Lens 方法，直接解码模型中间层的 Hidden States，以此分析模型推理过程中置信度的变化。这是一种深入理解模型内部运作机制，并可能用于模型调试、优化和解释性的强大技术。 1. 背景与动机 深度学习模型，尤其是大型语言模型（LLMs），在各种任务中表现出色。然而，它们通常被视为“黑盒”，我们很难理解它们做出特定决策的原因。传统的模型分析方法，例如梯度分析或注意力机制可视化，虽然有用，但往往只能提供有限的信息。 Logit Lens 提供了一种不同的视角：直接观察模型内部的 Hidden States，并通过线性变换将其映射到词汇表空间，从而预测模型的下一步输出（logits）。通过比较预测的 logits 与实际的 logits，我们可以深入了解模型在不同推理阶段的置信度变化以及可能的偏差。 这种方法的主要动机包括： 可解释性： 了解模型如何逐步构建其预测，以及哪些因素影响了最终的决策。 模型调试： 识别模型在推理过程中出现的错 …