分类： 人工智能

发布于

BAdam优化器：利用块坐标下降（Block Coordinate Descent）实现全参数微调的显存优化

BAdam优化器：利用块坐标下降（Block Coordinate Descent）实现全参数微调的显存优化 各位同学，大家好！今天我们来聊一聊如何在深度学习模型微调过程中优化显存占用。特别是针对大型模型，全参数微调往往需要大量的显存，这给很多资源有限的开发者带来了挑战。我们将介绍一种名为BAdam的优化器，它利用块坐标下降（Block Coordinate Descent，BCD）的思想，有效地降低了显存需求，从而使得全参数微调成为可能。 1. 全参数微调的显存挑战 在介绍BAdam之前，我们先来回顾一下全参数微调的含义以及它带来的显存挑战。 深度学习模型训练通常分为两个阶段：预训练和微调。预训练阶段在一个大规模数据集上训练模型，使其学习到通用的特征表示。微调阶段则是在特定任务的数据集上，对预训练模型进行进一步的训练，使其适应特定任务。 全参数微调是指在微调阶段，更新模型的所有参数。相比于只更新部分参数（例如，只更新最后的分类层），全参数微调通常能够获得更好的性能，因为它允许模型更灵活地调整其特征表示，以适应特定任务的数据分布。 然而，全参数微调也面临着一个显著的挑战：显存占用。深度 …

继续阅读“BAdam优化器：利用块坐标下降（Block Coordinate Descent）实现全参数微调的显存优化”

发布于

PiSSA（Principal Singular values Adaptation）：利用SVD分解初始化适配器以保留核心信息

PiSSA：利用SVD分解初始化适配器以保留核心信息 大家好，今天我们来探讨一种新的适配器初始化方法，名为PiSSA（Principal Singular values Adaptation）。在深度学习领域，尤其是大模型微调中，参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）技术越来越受到重视。适配器作为一种PEFT方法，通过在预训练模型中插入少量可训练的参数，来实现特定任务的微调，从而避免了对整个模型进行微调带来的巨大计算成本。然而，如何有效地初始化适配器参数，使其能够快速适应目标任务，仍然是一个重要的研究课题。PiSSA方法正是为了解决这个问题而提出的，它利用奇异值分解（Singular Value Decomposition，SVD）来初始化适配器，旨在保留预训练模型的核心信息，从而加速微调过程。 1. 适配器微调的背景与挑战 在深入了解PiSSA之前，我们先简单回顾一下适配器微调的基本概念和面临的挑战。 适配器微调的核心思想是在预训练模型的特定层中插入适配器模块。这些适配器模块通常由两个线性层组成，中间夹着一个非线性激活函数。具体来说， …

继续阅读“PiSSA（Principal Singular values Adaptation）：利用SVD分解初始化适配器以保留核心信息”

发布于

LoftQ初始化：结合量化与LoRA初始化减少低比特微调中的精度损失

LoftQ初始化：量化与LoRA结合，减少低比特微调精度损失 各位同学，大家好！今天我们要深入探讨一个在低比特微调领域非常热门且实用的技术——LoftQ初始化。在深度学习模型越来越大的背景下，如何高效地进行模型微调成为了一个重要的研究方向。低比特量化和LoRA（Low-Rank Adaptation）是两种常用的技术，分别从模型大小和参数更新的角度来降低微调的计算成本。然而，单独使用它们往往会带来精度损失。LoftQ初始化正是为了解决这个问题而提出的，它巧妙地结合了量化和LoRA，能够在保证效率的同时，尽可能地减少精度损失。 一、背景知识回顾：量化与LoRA 在深入了解LoftQ初始化之前，我们先简单回顾一下量化和LoRA的基本原理。 1.1 量化（Quantization） 量化是一种将模型参数从高精度（如FP32）转换为低精度（如INT8）的技术。通过减少表示每个参数所需的比特数，量化可以显著降低模型的大小，提高推理速度，并降低内存占用。 原理： 量化的核心在于将连续的浮点数值映射到离散的整数值。这个映射过程需要确定一个缩放因子（Scale）和一个零点（Zero Point）。 缩 …

继续阅读“LoftQ初始化：结合量化与LoRA初始化减少低比特微调中的精度损失”

发布于

LoRA+算法：通过设置不同的学习率比例（Ratio）优化适配器矩阵A与B的收敛速度

LoRA+：差异化学习率加速适配器矩阵收敛 大家好，今天我们来深入探讨LoRA（Low-Rank Adaptation）及其改进版本LoRA+。LoRA作为一种参数高效的微调方法，在大型语言模型（LLM）时代备受关注。而LoRA+则通过巧妙地调整学习率比例，进一步优化了LoRA适配器矩阵的训练过程。本次讲座将详细介绍LoRA的原理，LoRA+的改进思路，并结合代码示例，展示如何在实践中应用LoRA+来提升微调效率。 1. LoRA：低秩适应的原理与应用 LoRA的核心思想是在预训练模型的基础上，引入低秩矩阵来近似模型的权重更新。具体来说，对于预训练模型的权重矩阵 $W_0 in mathbb{R}^{d times k}$，LoRA不是直接更新 $W_0$，而是引入两个低秩矩阵 $A in mathbb{R}^{d times r}$ 和 $B in mathbb{R}^{r times k}$，其中 $r ll min(d, k)$。训练过程中，只训练 $A$ 和 $B$，而 $W_0$ 保持不变。更新后的权重矩阵为： $W = W_0 + BA$ 其中，$BA$ 构成了对原始权重矩 …

继续阅读“LoRA+算法：通过设置不同的学习率比例（Ratio）优化适配器矩阵A与B的收敛速度”

发布于

DoRA（Weight-Decomposed Low-Rank Adaptation）：解耦权重幅度与方向提升微调稳定性

好的，没问题。 DoRA：解耦权重幅度与方向提升微调稳定性 大家好，今天我们来聊聊一个最近在模型微调领域备受关注的技术——DoRA，全称Weight-Decomposed Low-Rank Adaptation，即权重解耦低秩适应。 在深入DoRA之前，我们先回顾一下模型微调的一些背景知识，以及它试图解决的问题。 背景：模型微调的挑战 模型微调，尤其是针对大型预训练模型（如LLM），已经成为一个非常流行的技术。通过微调，我们可以让一个通用模型快速适应特定任务，而无需从头训练。然而，微调并非总是那么顺利，它面临着一些挑战： 灾难性遗忘 (Catastrophic Forgetting)：微调过程中，模型可能会忘记在预训练阶段学到的知识，导致在新任务上表现良好，但在原始任务上表现下降。 训练不稳定：微调过程可能非常敏感，超参数的选择、训练数据的分布等都可能影响最终模型的性能，甚至导致训练崩溃。 资源消耗大：全量微调需要更新模型的所有参数，这对于大型模型来说，计算和存储成本都非常高昂。 为了解决这些问题，研究人员提出了各种参数高效微调方法，如LoRA (Low-Rank Adaptation …

继续阅读“DoRA（Weight-Decomposed Low-Rank Adaptation）：解耦权重幅度与方向提升微调稳定性”

发布于

YoLo（You Only Look Once）for LLM：通过一次前向传递实现多Token并行预测的解码层

YoLo for LLM：一次前向传递实现多Token并行预测的解码层 大家好，今天我们来聊聊一个非常有意思的话题：如何借鉴YoLo（You Only Look Once）的思想，来加速大型语言模型（LLM）的解码过程，实现多Token的并行预测。 LLM解码的瓶颈 在深入YoLo for LLM之前，我们首先要理解LLM解码过程中的瓶颈是什么。传统的自回归解码方式，例如GPT系列，是逐个Token生成的。这意味着，生成下一个Token必须等待上一个Token生成完毕。这种串行化的过程，严重限制了LLM的推理速度，尤其是在生成长文本时。 具体来说，传统的解码过程如下： 输入Prompt： 给定一个Prompt（例如“The capital of France is”）。 编码： Prompt经过LLM的编码层，生成上下文向量。 解码（迭代）： 预测下一个Token： 解码器利用上下文向量和已生成的Token序列，预测下一个Token的概率分布。 采样： 从概率分布中采样得到下一个Token（例如“Paris”）。 更新序列： 将新生成的Token加入到已生成序列中。 重复： 重复上述步 …

继续阅读“YoLo（You Only Look Once）for LLM：通过一次前向传递实现多Token并行预测的解码层”

发布于

Transformer中的软最大值（Softmax）瓶颈：为何线性Attention在精确检索任务中表现不佳

Transformer中的Softmax瓶颈：为何线性Attention在精确检索任务中表现不佳 大家好，今天我们来深入探讨Transformer架构中的一个关键组件——Softmax函数，以及它在Attention机制中带来的瓶颈，尤其是在精确检索任务中。我们将重点分析为什么线性Attention，作为一种试图缓解Softmax瓶颈的替代方案，在这些任务中表现不佳。 1. Transformer与Attention机制回顾 Transformer模型，由Vaswani等人在2017年提出，彻底改变了自然语言处理（NLP）领域。其核心在于自注意力机制（Self-Attention），它允许模型在处理序列时，关注序列中不同位置的信息。 让我们简单回顾一下标准的Scaled Dot-Product Attention的计算过程： 输入： Query (Q), Key (K), Value (V)。这三个矩阵都是从输入序列经过线性变换得到的。它们的维度分别是(N, d_q), (N, d_k), (N, d_v)，其中N是序列长度，d_q, d_k, d_v分别是Query, Key, Va …

继续阅读“Transformer中的软最大值（Softmax）瓶颈：为何线性Attention在精确检索任务中表现不佳”

发布于

KAN（Kolmogorov-Arnold Networks）在大模型中的应用：用可学习激活函数替代MLP层的探索

KAN（Kolmogorov-Arnold Networks）：用可学习激活函数替代MLP层的探索 各位同学，大家好。今天我们来聊聊一个最近比较火的神经网络架构——Kolmogorov-Arnold Networks (KANs)。它通过用可学习激活函数替代传统MLP（Multilayer Perceptron）层中的固定激活函数，在某些任务上展现出了令人惊喜的效果。我们将深入探讨KANs的原理、优势、局限性，以及如何在实际中应用它们。 1. KANs的理论基础：Kolmogorov-Arnold表示定理 KANs的设计灵感来源于Kolmogorov-Arnold表示定理。这个定理指出，任何多元连续函数都可以被表示成单变量连续函数的有限次叠加和复合。具体来说，对于一个函数 f(x₁, x₂, …, xₙ)，可以找到单变量函数 φᵢ 和 ψᵢⱼ，使得： f(x₁, x₂, …, xₙ) = Σᵢ ψᵢ ( Σⱼ φᵢⱼ(xⱼ) ) 这个定理表明，我们可以将一个复杂的多元函数分解成更简单的单变量函数的组合。KANs正是基于这个思想，尝试将MLP中的权重矩阵和固定激活函数替换 …

继续阅读“KAN（Kolmogorov-Arnold Networks）在大模型中的应用：用可学习激活函数替代MLP层的探索”

发布于

Physics of Language Models：从理论物理视角解析大模型在知识存储中的相变与临界点

Physics of Language Models：从理论物理视角解析大模型在知识存储中的相变与临界点 各位观众，大家好。今天我们来探讨一个非常有趣的话题：大语言模型（LLMs）的物理学。具体来说，我们将从理论物理的视角，特别是相变和临界点的概念，来理解LLMs如何存储知识，以及它们在学习过程中可能发生的行为。 1. 引言：连接语言模型与物理学 长期以来，人们一直将LLMs视为纯粹的工程产物，关注的是其性能指标，如困惑度（perplexity）、准确率（accuracy）等。然而，随着模型规模的不断扩大，LLMs展现出一些令人惊讶的涌现能力，例如上下文学习（in-context learning）、推理（reasoning）等。这些能力的出现，引发了人们对LLMs内部机制的更深层次思考。 一个富有成效的思路是将LLMs视为一种复杂的物理系统。正如统计物理学可以用来描述大量粒子的集体行为一样，我们可以尝试用类似的理论框架来理解LLMs中大量参数的相互作用，以及它们如何共同实现对知识的存储和处理。 2. 知识存储：能量最小化与吸引子 LLMs通过训练来学习语言的统计规律。在训练过程中，模 …

继续阅读“Physics of Language Models：从理论物理视角解析大模型在知识存储中的相变与临界点”

发布于

MobileLLM架构：利用深而窄（Deep-Narrow）的网络结构优化1B以下模型的推理性能

MobileLLM架构：深而窄网络结构优化1B以下模型推理性能 大家好，今天我们来深入探讨一下如何在资源受限的移动设备上，优化1B以下语言模型的推理性能。我们的核心策略是利用“深而窄”的网络结构，这种结构在保持模型表达能力的同时，显著降低了计算复杂度和内存占用，从而提高推理速度。 1. 背景：移动端LLM推理的挑战 在移动端部署大型语言模型（LLM）面临着诸多挑战： 计算资源有限： 移动设备的CPU和GPU性能远低于服务器，无法承担大规模矩阵运算。 内存容量限制： 移动设备的内存容量有限，无法容纳庞大的模型参数。 功耗限制： 移动设备需要考虑功耗，避免长时间运行导致过热和电量耗尽。 延迟要求： 移动应用通常需要快速响应，对推理延迟有严格要求。 传统的LLM，如Transformer模型，通常具有大量的参数和复杂的计算图，难以直接部署在移动设备上。因此，我们需要设计一种既能保持模型性能，又能满足移动端资源限制的架构。 2. 深而窄的网络结构：一种有效的解决方案 “深而窄”的网络结构是一种通过增加网络深度，同时减少每层神经元的数量来降低模型参数量和计算复杂度的策略。相比于传统的“浅而宽”的 …

继续阅读“MobileLLM架构：利用深而窄（Deep-Narrow）的网络结构优化1B以下模型的推理性能”