文章

发布于

ReFT（Representation Finetuning）：通过干预中间层表征实现比LoRA更高效的微调

ReFT：表征微调，超越LoRA的高效微调技术 大家好，今天我们来深入探讨一种新兴的参数高效微调（PEFT）技术：Representation Finetuning，简称ReFT。随着深度学习模型规模的爆炸式增长，全参数微调变得越来越不现实，PEFT应运而生。ReFT作为PEFT家族的新成员，凭借其在中间层表征上的巧妙干预，展现了超越LoRA等主流PEFT技术的潜力。 1. 参数高效微调的必要性 在深入ReFT之前，我们首先要理解参数高效微调的重要性。 预训练语言模型（PLM）如BERT、GPT系列等，在大量数据上训练后，具备了强大的通用知识和语言理解能力。 然而，要将这些PLM应用到特定的下游任务中，通常需要进行微调。 全参数微调虽然效果最好，但需要更新模型的所有参数，这对于大型模型来说，计算成本和存储成本都非常高昂。此外，全参数微调还可能导致灾难性遗忘，即模型在适应新任务的同时，忘记了预训练阶段学到的知识。 参数高效微调（PEFT）通过只微调模型的一小部分参数，或者引入少量额外参数，来解决这些问题。PEFT方法降低了计算成本和存储成本，同时减轻了灾难性遗忘的风险。常见的PEFT方法 …

继续阅读“ReFT（Representation Finetuning）：通过干预中间层表征实现比LoRA更高效的微调”

发布于

LoRA的秩（Rank）选择策略：为什么低秩矩阵在特定任务中能捕获全量微调的效果

LoRA 的秩（Rank）选择策略：低秩矩阵为何能捕获全量微调的效果 各位来宾，大家好！今天我们来深入探讨一个在大型语言模型（LLM）微调领域非常重要的技术——LoRA (Low-Rank Adaptation)。LoRA 允许我们在资源有限的情况下，高效地微调预训练模型，并且常常令人惊讶的是，即使使用低秩矩阵，也能获得接近甚至媲美全量微调的效果。那么，这背后的原理是什么？我们该如何选择合适的秩（Rank）？这就是今天我们要探讨的核心问题。 1. 预训练模型的内在维度与冗余性 首先，我们需要理解预训练模型的一些关键特性。大型预训练模型，比如 BERT、GPT 等，通常参数量巨大，动辄数十亿甚至数千亿。这些模型经过大规模语料的训练，学习到了极其丰富的知识和语言模式。然而，一个重要的观察是，这些模型通常具有很高的冗余性。 这意味着什么？这意味着，模型中很多参数实际上对于特定任务来说并非至关重要。模型的参数空间存在一个“有效维度”，这个有效维度远小于模型的实际维度（参数数量）。换句话说，模型学习到的知识可以用一个相对低维的子空间来表示。 类比一下，假设你有一张高清图片，像素非常高。但如果你只 …

继续阅读“LoRA的秩（Rank）选择策略：为什么低秩矩阵在特定任务中能捕获全量微调的效果”

发布于

QLoRA技术细节：4-bit NormalFloat量化与双重量化（Double Quantization）的实现

QLoRA技术细节：4-bit NormalFloat量化与双重量化（Double Quantization）的实现 大家好，今天我们来深入探讨QLoRA的核心技术：4-bit NormalFloat (NF4) 量化和双重量化 (Double Quantization)。QLoRA通过这些技术，极大地降低了大型语言模型的显存占用，使得在消费级硬件上微调大型模型成为可能。我们将从理论基础入手，逐步剖析NF4量化的原理、双重量化的实现细节，并提供相应的代码示例，帮助大家理解和应用这些技术。 一、量化技术概述 量化是一种模型压缩技术，通过降低模型参数的精度来减少存储空间和计算复杂度。常见的量化方法包括： 线性量化 (Linear Quantization): 将浮点数映射到整数，并使用比例因子和零点进行转换。 对数量化 (Logarithmic Quantization): 将浮点数取对数后再进行线性量化，适用于数值范围跨度较大的情况。 非线性量化 (Non-linear Quantization): 使用非线性函数进行映射，例如 QLoRA 中使用的 NF4 量化。 量化的核心在于找到一 …

继续阅读“QLoRA技术细节：4-bit NormalFloat量化与双重量化（Double Quantization）的实现”

发布于

NEFTune噪声嵌入微调：通过在Embedding层引入随机噪声提升指令微调的泛化性

NEFTune：噪声嵌入微调，提升指令微调模型的泛化性 大家好，今天我将为大家深入讲解一种提升指令微调模型泛化性的有效技术——NEFTune，即Noise Embedding Fine-tuning（噪声嵌入微调）。我们将探讨NEFTune的核心思想、实现细节，并通过代码示例展示如何在实际项目中应用NEFTune。 1. 指令微调的局限性与泛化挑战 指令微调（Instruction Fine-tuning）是构建大型语言模型（LLM）的关键步骤。通过在预训练模型的基础上，利用指令数据集进行微调，可以显著提升模型对特定任务的理解和执行能力。然而，指令微调也面临着一些挑战，其中最关键的是泛化性问题。 具体来说，指令微调后的模型往往在训练数据上表现优异，但在未见过的、分布不同的数据上表现下降。这种现象被称为过拟合（Overfitting）。 过拟合的原因是模型过度适应了训练数据中的噪声和特定模式，而未能学习到数据的本质特征。 此外，指令数据集的质量和多样性也会影响微调模型的泛化能力。如果指令数据集过于单一或包含大量低质量的指令，微调后的模型很容易产生偏差。 2. NEFTune的核心思想：引 …

继续阅读“NEFTune噪声嵌入微调：通过在Embedding层引入随机噪声提升指令微调的泛化性”

发布于

SPIN（Self-Play Fine-Tuning）：利用LLM自我博弈生成合成数据进行迭代增强

SPIN：自我博弈微调——大型语言模型的迭代增强之路 各位同学，大家好！今天我们来深入探讨一个非常有意思且充满潜力的话题：SPIN，也就是Self-Play Fine-Tuning，自我博弈微调。SPIN的核心思想是利用大型语言模型（LLM）的自我博弈能力，生成合成数据，并以此迭代地增强模型的性能。简单来说，就是让模型自己和自己“打架”，在对抗中不断学习和进步。 1. SPIN 的核心思想与动机 传统上，训练LLM需要大量标注数据。但标注数据的获取成本高昂，且可能存在偏差。SPIN的出现，旨在解决这一问题，它提供了一种无需人工标注，仅依靠模型自身就能进行迭代优化的方法。 SPIN 的基本流程如下： 生成对抗数据： 首先，模型扮演两个角色：一个是“Proposer”（提议者），负责生成高质量的文本；另一个是“Critic”（评论者），负责评估Proposer生成的文本，并给出反馈。 微调Proposer： Proposer根据Critic的反馈，调整自身的生成策略，力求生成更符合Critic标准的文本。 迭代优化： 重复以上步骤，Proposer和Critic在对抗中不断进化，模型性能得 …

继续阅读“SPIN（Self-Play Fine-Tuning）：利用LLM自我博弈生成合成数据进行迭代增强”

发布于

KTO（Kahneman-Tversky Optimization）：无需配对数据基于前景理论的人类价值对齐

KTO（Kahneman-Tversky Optimization）：无需配对数据基于前景理论的人类价值对齐 大家好，今天我们要深入探讨一种新兴的价值对齐方法，名为Kahneman-Tversky Optimization (KTO)。传统价值对齐方法通常依赖于配对数据，即模型对同一输入给出不同的输出，并由人类标注者对这些输出进行偏好排序。然而，获取高质量的配对数据成本高昂，且标注过程容易受到主观偏差的影响。KTO 巧妙地避开了对配对数据的依赖，直接利用前景理论（Prospect Theory）来建模人类的决策过程，从而实现价值对齐。 1. 前景理论基础 前景理论是心理学家 Daniel Kahneman 和 Amos Tversky 提出的行为经济学理论，旨在解释人类在风险和不确定性条件下如何做出决策。它与传统的期望效用理论（Expected Utility Theory）不同，后者假设人们是理性的，总是追求期望效用的最大化。前景理论指出，人们的决策受到以下几个关键因素的影响： 参考点 (Reference Point)： 人们不是基于绝对效用，而是基于相对于某个参考点的得失来评估结 …

继续阅读“KTO（Kahneman-Tversky Optimization）：无需配对数据基于前景理论的人类价值对齐”

发布于

从RLHF到DPO：直接偏好优化（Direct Preference Optimization）的数学推导与稳定性优势

好的，下面开始我们的讲座。 从RLHF到DPO：直接偏好优化（Direct Preference Optimization）的数学推导与稳定性优势 大家好！今天我们来深入探讨一个在大型语言模型（LLM）对齐领域非常重要的技术——直接偏好优化（Direct Preference Optimization，简称DPO）。DPO作为一种RLHF（Reinforcement Learning from Human Feedback）的替代方案，近年来受到了广泛关注，其数学推导的简洁性和训练的稳定性是其主要优势。我们将从RLHF的背景出发，逐步推导出DPO的数学公式，并探讨其稳定性的来源。 1. RLHF的背景与挑战 RLHF旨在使LLM的行为与人类的价值观和偏好对齐。传统的RLHF流程通常包含三个阶段： 预训练模型（Pre-trained Model）： 利用大规模文本数据预训练一个基础的LLM。 奖励模型（Reward Model）： 收集人类对不同模型输出的偏好数据，训练一个奖励模型，该模型预测给定模型输出的质量。 强化学习（Reinforcement Learning）： 使用强化学习算 …

继续阅读“从RLHF到DPO：直接偏好优化（Direct Preference Optimization）的数学推导与稳定性优势”

发布于

LISA（Layerwise Importance Sampled Adam）：通过分层重要性采样优化显存占用的微调

LISA：通过分层重要性采样优化显存占用的微调 大家好，今天我们来深入探讨一种用于优化大型语言模型微调过程中显存占用的技术：LISA (Layerwise Importance Sampled Adam)。随着模型规模的爆炸式增长，即便是在资源充足的环境下，微调也变得极具挑战性，其中显存限制是一个关键瓶颈。LISA 通过巧妙地结合分层重要性采样和 Adam 优化器，显著降低了显存需求，使得在有限的硬件条件下进行有效的微调成为可能。 背景与动机 深度学习模型的微调通常需要存储大量的中间激活值，以便进行反向传播计算梯度。这些激活值占据了大量的显存空间，尤其是在模型层数较深、批次大小较大的情况下。传统的解决方案包括梯度累积、模型并行等方法，但这些方法要么会降低训练速度，要么需要复杂的并行架构。 LISA 的核心思想是，并非所有层的激活值对最终的梯度更新都具有同等的重要性。某些层的激活值可能对模型的整体性能影响更大，而另一些层的激活值则相对不那么重要。因此，我们可以选择性地保留对模型性能影响较大的层的激活值，而丢弃或重新计算那些影响较小的层的激活值，从而节省显存。 LISA 的核心原理 LIS …

继续阅读“LISA（Layerwise Importance Sampled Adam）：通过分层重要性采样优化显存占用的微调”

发布于

数据课程学习（Curriculum Learning）：动态调整数据难度与序列长度的预训练调度

数据课程学习（Curriculum Learning）：动态调整数据难度与序列长度的预训练调度 大家好，今天我们来深入探讨一个在深度学习，尤其是自然语言处理领域非常有效的训练技巧——数据课程学习（Curriculum Learning，CL）。我们将重点关注如何通过动态调整数据难度和序列长度，来设计更有效的预训练调度策略。 1. 什么是数据课程学习？ 数据课程学习，顾名思义，模拟了人类学习的过程。我们在学习新知识时，通常从简单易懂的概念入手，逐步过渡到更复杂、更抽象的知识。在机器学习中，数据课程学习的核心思想是将训练数据按照难度排序，先用简单的数据进行训练，然后再逐渐引入难度更高的数据。 这种策略背后的直觉是，先让模型在一个相对容易的环境中学习到基本的模式和特征，然后再逐步挑战模型，使其能够处理更复杂的情况。相比于直接用随机顺序的数据进行训练，数据课程学习往往能够提高模型的收敛速度、泛化能力和最终性能。 2. 数据难度与序列长度 在设计数据课程学习方案时，我们需要考虑两个关键因素：数据的难度和序列长度。 数据难度： 数据的难度可以是多种多样的，具体取决于任务的类型。例如，在图像分类任务 …

继续阅读“数据课程学习（Curriculum Learning）：动态调整数据难度与序列长度的预训练调度”

发布于

大模型断点续训（Checkpointing）：利用异步持久化与内存快照减少训练中断开销

大模型断点续训（Checkpointing）：利用异步持久化与内存快照减少训练中断开销 各位朋友，大家好！今天我们来深入探讨一个在大模型训练中至关重要的技术——断点续训（Checkpointing）。在大模型训练中，训练时间往往以天甚至周为单位计算。硬件故障、软件Bug、电源中断等意外情况都可能导致训练中断，如果每次中断都从头开始，时间和资源成本将难以承受。断点续训技术能够帮助我们从上次中断的地方恢复训练，大大降低训练中断的开销。 1. 断点续训的核心思想 断点续训的核心思想是在训练过程中定期地将模型的参数、优化器的状态、以及其他必要的训练信息保存到磁盘或其他持久化存储介质中，形成一个“检查点”（Checkpoint）。当训练中断后，我们可以从最近的一个检查点加载这些信息，恢复训练状态，继续训练，而无需从头开始。 简单来说，断点续训就像玩游戏时的存档功能。你可以随时保存游戏进度，下次打开游戏时直接从存档点开始，而不用重新开始。 2. 断点续训的基本流程 断点续训的基本流程通常包括以下几个步骤： 定义检查点保存策略： 确定检查点保存的频率和保存的内容。 保存检查点： 在训练过程中，按照定 …

继续阅读“大模型断点续训（Checkpointing）：利用异步持久化与内存快照减少训练中断开销”