PiSSA：利用SVD分解初始化适配器以保留核心信息 大家好，今天我们来探讨一种新的适配器初始化方法，名为PiSSA（Principal Singular values Adaptation）。在深度学习领域，尤其是大模型微调中，参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）技术越来越受到重视。适配器作为一种PEFT方法，通过在预训练模型中插入少量可训练的参数，来实现特定任务的微调，从而避免了对整个模型进行微调带来的巨大计算成本。然而，如何有效地初始化适配器参数，使其能够快速适应目标任务，仍然是一个重要的研究课题。PiSSA方法正是为了解决这个问题而提出的，它利用奇异值分解（Singular Value Decomposition，SVD）来初始化适配器，旨在保留预训练模型的核心信息，从而加速微调过程。 1. 适配器微调的背景与挑战 在深入了解PiSSA之前，我们先简单回顾一下适配器微调的基本概念和面临的挑战。 适配器微调的核心思想是在预训练模型的特定层中插入适配器模块。这些适配器模块通常由两个线性层组成，中间夹着一个非线性激活函数。具体来说， …
继续阅读“PiSSA（Principal Singular values Adaptation）：利用SVD分解初始化适配器以保留核心信息”