Video Tokenizer设计：Magvit-v2与VQ-GAN在视频压缩率与重建质量之间的权衡 大家好！今天我们来深入探讨视频 Tokenizer 的设计，特别是 Magvit-v2 和 VQ-GAN 这两种方法，以及它们在视频压缩率和重建质量之间的权衡。视频 Tokenizer 在视频理解、生成以及压缩等领域扮演着至关重要的角色。它将连续的视频帧序列转换为离散的 Token 序列，使得我们可以利用离散序列建模的方法来处理视频数据。不同的 Tokenizer 设计会导致不同的压缩率和重建质量，理解这些差异对于选择合适的 Tokenizer 至关重要。 1. 视频 Tokenizer 的基本概念 视频 Tokenizer 的核心思想是将视频数据映射到一个离散的 Token 空间。这个过程通常包括以下几个步骤： 特征提取 (Feature Extraction): 首先，使用卷积神经网络 (CNN) 或 Transformer 等模型从视频帧中提取高维特征。这些特征包含了视频帧的关键信息。 量化 (Quantization): 然后，将提取的特征量化到离散的 Token 空间。量化是 …
DiT（Diffusion Transformer）架构解析：Sora如何将视频Patch化并利用Transformer处理时空依赖
DiT（Diffusion Transformer）架构解析：Sora如何将视频Patch化并利用Transformer处理时空依赖 大家好，今天我们来深入探讨一下DiT（Diffusion Transformer）架构，以及它在Sora模型中如何被应用于视频生成，特别是如何将视频patch化并利用Transformer来捕捉时空依赖关系。 1. Diffusion Models简介 在深入DiT之前，我们需要简单回顾一下Diffusion Models。Diffusion Models 是一类生成模型，其核心思想是通过逐步添加噪声将数据转化为噪声，然后再学习一个逆向的过程，从噪声中恢复出原始数据。这个过程可以分为两个阶段： 前向扩散过程 (Forward Diffusion Process)： 逐渐向数据中添加高斯噪声，直到数据完全变成噪声，遵循马尔可夫过程。 逆向扩散过程 (Reverse Diffusion Process)： 从纯噪声开始，逐步去除噪声，最终生成新的数据样本。这个过程通过神经网络学习。 Diffusion Model 的训练目标是学习一个能够预测噪声的神经网络， …
继续阅读“DiT（Diffusion Transformer）架构解析：Sora如何将视频Patch化并利用Transformer处理时空依赖”
Swarm Intelligence in LLMs：多个微调模型通过投票或协商机制实现群体智能涌现
Swarm Intelligence in LLMs：多个微调模型通过投票或协商机制实现群体智能涌现 各位同学，大家好。今天我们来探讨一个前沿且充满潜力的话题：如何在大型语言模型（LLMs）中应用群体智能（Swarm Intelligence），特别是通过多个微调模型之间的投票或协商机制，实现群体智能的涌现。 1. 引言：LLMs 的局限性与群体智能的优势 近年来，LLMs 在自然语言处理领域取得了显著的进展，在文本生成、机器翻译、问答系统等方面表现出色。然而，单一的 LLM 仍然存在一些固有的局限性： 知识覆盖范围有限： 即使是最大的 LLM，其训练数据也无法覆盖所有领域的知识。 容易产生偏见： LLM 的训练数据可能包含偏见，导致模型在某些情况下产生不公平或不准确的输出。 对对抗性攻击的脆弱性： 针对 LLM 的对抗性攻击，例如微小的输入扰动，可能导致模型产生错误的输出。 缺乏鲁棒性： 在面对新的、未知的输入时，LLM 的性能可能会下降。 群体智能是一种分布式解决问题的范式，它受到自然界中蜂群、蚁群等社会性生物行为的启发。群体智能算法通常由多个简单的个体组成，这些个体通过局部交互和 …
Model Recycling：利用旧版本模型权重初始化新架构模型（如Bert-to-GPT）的迁移学习
模型回收利用：旧模型权重初始化新架构的迁移学习 各位同学，大家好！今天我们来探讨一个非常有趣且实用的技术方向：模型回收利用。具体来说，我们将深入研究如何利用旧版本模型的权重来初始化新架构的模型，从而实现高效的迁移学习。本次讲座主要以Bert到GPT的迁移为例，讲解其原理、方法和实践。 为什么需要模型回收利用？ 在深度学习领域，训练一个高性能的模型往往需要耗费大量的计算资源和时间。特别是对于大规模的模型，例如BERT和GPT，从头开始训练可能需要几天甚至几周的时间。此外，从头训练还需要大量高质量的标注数据，这在很多情况下是难以获取的。 模型回收利用，或者更准确地说是迁移学习，提供了一种更高效的解决方案。其核心思想是将已经训练好的模型（源模型）的知识迁移到新的模型（目标模型）上。通过利用源模型已经学习到的特征表示和模式，目标模型可以更快地收敛，并且通常能够达到更高的性能。 节省算力、时间以及数据需求是模型回收利用的核心驱动力。 Bert-to-GPT 迁移学习的挑战与机遇 BERT和GPT是两种非常流行的预训练语言模型，它们分别代表了不同的模型架构和训练范式。BERT基于Transform …
Task Vector Orthogonality：分析不同任务微调向量的正交性以预测合并干扰
好的，我们开始吧。 Task Vector Orthogonality：分析不同任务微调向量的正交性以预测合并干扰 大家好，今天我们来深入探讨一个有趣且实用的课题：如何利用任务向量的正交性来预测不同任务微调后模型合并时可能出现的干扰。在多任务学习和模型泛化能力提升的背景下，模型合并（Model Merging）成为一种重要的技术。它允许我们结合多个在不同任务上微调过的模型的优势，从而创建一个性能更强大、适应性更广的模型。然而，简单地合并这些模型往往会遇到“灾难性干扰”（Catastrophic Interference）的问题，即合并后的模型在某些任务上的性能反而不如单个模型。 为了解决这个问题，我们需要理解不同任务微调对模型参数的影响，以及这些影响之间是如何相互作用的。一个关键的观察是，每个任务的微调过程可以被看作是在参数空间中沿着特定方向移动。这个方向可以被表示为一个“任务向量”（Task Vector）。如果这些任务向量之间是正交的，那么它们的合并就不会产生显著的干扰；反之，如果它们之间存在较大的夹角，那么合并可能会导致某些任务的性能下降。 1. 任务向量的定义与计算 首先，我们 …
Skill Grafting（技能嫁接）：将特定领域模型的Transformer Block移植到通用模型的实验
技能嫁接：将特定领域模型的Transformer Block移植到通用模型的实验 大家好，今天我们来探讨一个比较有趣且具有潜力的方向：技能嫁接，或者更具体地说，将特定领域模型的Transformer Block移植到通用模型。我们将深入探讨这种方法背后的动机、实现细节、面临的挑战以及可能的未来发展方向。 1. 引言：领域专精与通用智能的权衡 在深度学习领域，我们经常面临一个选择：是训练一个专注于特定任务的专家模型，还是训练一个能够处理多种任务的通用模型？ 专家模型： 往往能取得更高的精度和效率，但缺乏泛化能力。例如，一个专门用于图像识别的模型，在处理自然语言处理任务时几乎毫无用处。 通用模型： 能够适应多种任务，但往往在特定任务上的表现不如专家模型。例如，GPT-3 能够生成文本、翻译语言、编写代码等等，但在某些特定领域的任务上，可能不如专门针对该领域训练的模型。 理想情况下，我们希望能够结合两者的优点：拥有通用模型的泛化能力，同时具备专家模型的领域专精。技能嫁接，正是试图实现这一目标的策略之一。 2. 技能嫁接：基本概念与动机 技能嫁接的核心思想是将一个在特定领域训练过的模型的某些组 …
继续阅读“Skill Grafting（技能嫁接）：将特定领域模型的Transformer Block移植到通用模型的实验”
Evolutionary Model Merge：利用进化算法自动搜索最佳的模型层组合与混合比例
Evolutionary Model Merge：利用进化算法自动搜索最佳的模型层组合与混合比例 大家好，今天我们要探讨一个激动人心的主题：Evolutionary Model Merge，也就是利用进化算法自动搜索最佳的模型层组合与混合比例。在深度学习领域，模型融合是一种提升性能的常用手段。传统的模型融合方法往往依赖于手动设计，需要大量的实验和经验积累。而 Evolutionary Model Merge 提供了一种自动化的解决方案，能够高效地搜索最优的模型融合策略，从而显著提升模型性能。 一、模型融合的意义与挑战 模型融合，顾名思义，是将多个模型的结果进行组合，以期获得比单个模型更好的预测性能。其背后的原理是，不同的模型可能学习到不同的特征，或者在不同的数据子集上表现更好。通过融合这些模型的优势，可以降低泛化误差，提高模型的鲁棒性。 模型融合的常见方法包括： 平均法 (Averaging)： 对多个模型的预测结果进行简单平均。 加权平均法 (Weighted Averaging)： 对不同的模型赋予不同的权重，然后进行加权平均。 投票法 (Voting)： 对多个模型的预测结果进行 …
Git-Re-Basin：解决神经网络权重排列对称性（Permutation Symmetry）以实现模式匹配合并
Git Re-Basin: 解决神经网络权重排列对称性以实现模式匹配合并 大家好！今天我们来深入探讨一个神经网络领域中颇具挑战但又极具潜力的主题：神经网络权重排列对称性，以及一种名为 Git Re-Basin 的方法，它旨在利用这一对称性实现高效的神经网络合并。 神经网络，尤其是深度神经网络，近年来取得了令人瞩目的成就。然而，随着模型规模的不断扩大，训练、部署和维护这些模型变得越来越复杂。其中，模型合并，即把多个训练好的模型融合成一个性能更优或更紧凑的模型，成为了一个重要的研究方向。而权重排列对称性，是阻碍模型合并的一大障碍。 什么是权重排列对称性？ 权重排列对称性 (Permutation Symmetry)，或者有时称为权重空间对称性，是指在多层感知机 (MLP) 或卷积神经网络 (CNN) 等包含多个神经元的网络结构中，某些神经元的排列方式改变，但网络的整体输入-输出函数保持不变。 换句话说，我们可以交换某些层中的神经元，而不会改变模型的预测结果。 让我们用一个简单的例子来说明。考虑一个包含两个隐藏层的 MLP： 输入层 (Input Layer) 隐藏层 1 (Hidden L …
继续阅读“Git-Re-Basin：解决神经网络权重排列对称性（Permutation Symmetry）以实现模式匹配合并”
Franken-MoE：将多个同架构Dense模型“缝合”为MoE模型的低成本构建策略
Franken-MoE：低成本构建混合专家模型 大家好，今天我将为大家介绍一种名为“Franken-MoE”的低成本构建混合专家模型（MoE）的策略。MoE模型近年来在自然语言处理、计算机视觉等领域取得了显著的成果，其核心思想是利用多个“专家”网络处理不同类型的输入，从而提升模型容量和性能。然而，传统的MoE模型训练成本高昂，限制了其在资源有限场景下的应用。Franken-MoE提供了一种可行的替代方案，通过将多个已训练好的Dense模型“缝合”成一个MoE模型，显著降低了训练成本。 MoE模型简介 首先，我们简要回顾一下MoE模型的基本架构。一个典型的MoE模型包含以下几个关键组件： 专家网络（Experts）： 由多个独立的神经网络组成，每个专家网络擅长处理不同类型的输入数据。 门控网络（Gate Network）： 负责根据输入数据的重要性，动态地选择哪些专家网络参与计算。 组合机制（Combination Mechanism）： 将被选中的专家网络的输出进行加权组合，得到最终的输出结果。 用公式表示，一个MoE层的输出可以写成： Output = Σ(Gate(x)_i * E …
Model Arithmetic（模型算术）：通过“向量加减”在权重空间实现特定能力的注入与剥离
模型算术：在权重空间中注入与剥离能力 大家好，今天我们来探讨一个有趣且实用的主题：模型算术。具体来说，我们将深入研究如何通过对预训练模型权重进行向量加减运算，来注入或剥离特定的能力，从而实现模型定制化。 1. 模型算术的基本概念 模型算术的核心思想是将预训练模型视为一个巨大的参数向量空间。在这个空间中，模型的每一个权重都代表着其学习到的知识和能力。因此，我们可以通过对权重向量进行操作，来改变模型的行为，使其具备或失去某些特定的功能。 最基本的操作是向量加法和向量减法。我们可以将一个代表特定能力的“能力向量”加到原始模型的权重上，从而增强或添加该能力。相反，我们可以从原始模型中减去一个“能力向量”，从而削弱或移除该能力。 这种方法的优势在于： 效率高：相比于从头开始训练一个模型，或者进行微调，模型算术通常需要更少的计算资源和时间。 灵活性强：可以针对特定需求，精确地控制模型的行为。 可解释性：通过分析能力向量，我们可以更好地理解模型内部的运作机制。 2. 如何构建“能力向量” 构建“能力向量”是模型算术的关键步骤。目前，主要有两种方法： 2.1. 基于微调的差分方法 这种方法的核心思想是 …