DiT（Diffusion Transformer）架构解析：Sora如何将视频Patch化并利用Transformer处理时空依赖 大家好，今天我们来深入探讨一下DiT（Diffusion Transformer）架构，以及它在Sora模型中如何被应用于视频生成，特别是如何将视频patch化并利用Transformer来捕捉时空依赖关系。 1. Diffusion Models简介 在深入DiT之前，我们需要简单回顾一下Diffusion Models。Diffusion Models 是一类生成模型，其核心思想是通过逐步添加噪声将数据转化为噪声，然后再学习一个逆向的过程，从噪声中恢复出原始数据。这个过程可以分为两个阶段： 前向扩散过程 (Forward Diffusion Process)： 逐渐向数据中添加高斯噪声，直到数据完全变成噪声，遵循马尔可夫过程。 逆向扩散过程 (Reverse Diffusion Process)： 从纯噪声开始，逐步去除噪声，最终生成新的数据样本。这个过程通过神经网络学习。 Diffusion Model 的训练目标是学习一个能够预测噪声的神经网络， …
继续阅读“DiT（Diffusion Transformer）架构解析：Sora如何将视频Patch化并利用Transformer处理时空依赖”