Logit Lens：窥视语言模型的推理黑盒 大家好，今天我们来探讨一个令人着迷的技术——Logit Lens。这个技术提供了一种直接而简洁的方式，去理解大型语言模型（LLM）内部的推理过程，它允许我们“透视”模型中间层的隐藏状态，并将其直接映射到词汇表，从而揭示模型在不同阶段对下一个词的预测。 长期以来，大型语言模型都被视为一个黑盒子。我们输入文本，模型输出结果，但我们很难理解模型内部发生了什么，为什么会做出这样的预测。Logit Lens的出现，为我们打开了一扇窗，让我们能够窥视模型内部的决策过程。 1. Logit Lens的核心思想 Logit Lens的核心思想非常简单：将Transformer模型中间层的隐藏状态（Hidden State）直接投影到词汇表空间，得到一个与词汇表大小相同的logits向量，然后分析这个logits向量，就可以了解模型在当前层对下一个词的预测倾向。 传统的理解模型的方式，通常是基于梯度分析、注意力机制可视化等方法。这些方法虽然有用，但通常比较间接，而且难以解释。Logit Lens则提供了一种更加直接和可解释的方法。 让我们用公式来表达这个过程 …