Proxy-Tuning：利用大模型调整小模型Logits实现无需微调的解码引导 大家好，今天我们来深入探讨一种名为Proxy-Tuning的技术，它能够在不微调小模型的前提下，利用大模型的知识来引导小模型的解码过程，从而提升小模型的性能。这个技术的核心思想是：使用大模型作为“代理”，通过调整小模型的logits（对数几率），使得小模型的输出更接近大模型，进而继承大模型的优势。 1. 背景与动机 近年来，大型语言模型（LLMs）在各种自然语言处理任务中表现出了强大的能力。然而，部署和使用这些大型模型面临着计算资源和能源消耗的挑战。因此，如何有效地利用LLMs的知识来提升小型模型的性能，成为了一个重要的研究方向。 传统的知识蒸馏方法通常需要对小模型进行微调，这需要大量的计算资源和时间。Proxy-Tuning则提供了一种无需微调的替代方案。它通过在推理阶段调整小模型的logits，使其行为更接近大模型，从而实现知识迁移。 2. Proxy-Tuning的核心思想 Proxy-Tuning的核心思想可以概括为以下几点： 大模型作为代理（Proxy）： 使用一个预训练好的大型语言模型作为知识 …