[大语言模型-论文精读] Diffusion Model技术-通过时间和空间组合扩散模型生成复杂的3D人物动作

扩散模型是一种基于深度学习的概率生成模型，其核心思想是通过逐步添加噪声来破坏数据，然后学习如何逆转这个过程来生成数据。：在扩散模型中，首先从一个简单的数据分布（如高斯分布）开始，然后逐步向其中添加噪声，经过多个时间步的噪声添加后，数据最终变得不可辨认。例如，在图像生成任务中，一张清晰的图像经过多次噪声添加后会变成完全随机的噪声图像。

时间数据，特别是是时空序列数据，是广泛的现实应用的重要数据结构[76]。时间序列被定义为数据点的顺序排列，按时间顺序分类。这些序列可以是单变量（涉及随时间变化的单个变量），也可以是多变量（包含多个变量）。例如，城市的每日空气质量测量构成一个单变量时间序列，而结合每日温度和湿度读数生成一个多变量序列。在实际应用中，时空数据是指观测值的集合，其中每个数据点由其在空间和时间中的位置定义，封装了各种数据结构，例如图形、轨迹甚至视频，如[76]中所述。

用于时序预测，它改进了传统的扩散模型方法，通过设计一个插值网络代替扩散模型加高斯噪声的正向操作，在反向过程中，它设计了一个预测网络进行多步预测。如图所示，上面展示了如何通过一般的扩散模型对时序数据进行预测，首先在正向过程中，通过增加高斯噪声将时序数据转化为高斯噪声，在反向过程中，通过条件对高斯噪声进行逐步还原得到我们需要预测的未来一段时间的时序数据。此外，与传统的基于高斯噪声的扩散模型相比，其中一个可能的原因是，视频扩散模型的主干网络的通道维度会随着训练跨度的增加而变大，导致问题的维度和复杂性大幅增加。

震撼！AI实时生成游戏，每秒20帧，谷歌扩散模型最新突破一夜爆火，附论文介绍和GitHub代码。

扩散模型（Diffusion Models）是一种新型的生成模型，其灵感来源于非平衡热力学中的扩散过程。这种模型通过模拟从数据集中逐步添加噪声的过程，直至数据完全转化为噪声，然后再通过逆向过程从噪声中恢复出原始数据。扩散模型的起源可以追溯到2015年，当时有研究者提出了深度生成模型（Deep Generative Models），这为后来的扩散模型奠定了基础。2018年，Diffusion Models被正式提出，它通过学习数据分布的逆过程，实现了更加稳定、多样化的样本生成。

扩散模型作为生成式AI的核心技术之一，通过从噪声中逐步去噪的方式生成高质量内容，其原理类似于雕刻家从大理石中雕琢出艺术品。这一技术不仅革新了图像生成领域，更通过引入时空补丁序列和Transformer架构，实现了对视频时序一致性的建模，从而在视频生成领域展现出巨大潜力。从技术价值看，它大幅降低了视频创作的门槛，使文字到视频的转换成为可能。在应用场景上，该技术正逐步渗透到短视频制作、广告营销、教育科普及影视预制作等多个领域。本文聚焦OpenAI的Sora模型，深入剖析其基于扩散模型和Transformer的架

为了更好的理解扩散模型，我们首先需要理解生成模型。人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个流派，分别是生成对抗网络（Generative Adversarial Models，GAN）：生成对抗网络GAN通过一种生成对抗式的方式进行学习，其生成器G根据潜在空间的采样z生成图像x’，判别器D则判断输入图像是真实图像x还是生成图像x’变分自编码器。

1、机器人规划/智能决策 SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution扩散模型已展示在机器人轨迹规划方面的潜力。然而，从高级指令生成连贯的轨迹仍具有挑战性，特别是对于需要多个序列技能的长距离组合任务。提出SkillDiffuser...

如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(

Datawhale干货作者：杨毅远，牛津大学，Datawhale成员题目：A survey on diffusion models for time series and spatio-temporal data论文链接：https://arxiv.org/abs/2404.18886项目地址：https://github.com/yyysjz1997/Awesome-TimeSeries-S...

发表于。

本系列文章对近期学习的大语言模型（LLM）和扩散模型（Diffusion Model）的相关内容进行简要总结，作为该系列文章的开篇，主要谈谈近期学习的感受和心得。

性能提升：在多个基准数据集和预测场景上的实验表明，观察自引导与任务特定的条件基线具有竞争力，CRPS值平均降低了15%。无条件训练的扩散模型TSDiff：提出了一种无条件训练的扩散模型TSDiff，用于时间序列。光栅掩蔽策略：通过光栅掩蔽策略，增强了正常和异常数据之间的决策边界，提高了异常检测的准确性。粗粒度数据的有效利用：通过利用不同粒度级别的粗粒度数据实例，提高了模型的预测性能。无条件扩散模型的应用：首次将无条件扩散模型应用于时间序列预测，无需额外的临床注释。

摘要： Diffusion Policy提出了一种基于条件扩散模型的机器人动作生成方法，通过逐步去噪生成连贯的高维动作序列，解决了传统方法在多模态分布、动作时序一致性和训练稳定性上的瓶颈。该框架利用视觉观测作为条件输入，结合Transformer时序建模，在复杂任务中显著优于现有方法。实验表明，Diffusion Policy能高效学习多样化策略，并稳定生成长程动作序列，为机器人控制提供了新的技术路径。 关键词： Diffusion Policy、机器人学习、多模态动作生成、条件扩散模型、时序一致性

Diffusion Policy:基于扩散模型的机器人动作生成策略

是一种基于扩散模型的动作预测方法。传统的强化学习（RL）方法通常采用策略梯度（Policy Gradient）或值函数（Value Function）来指导智能体如何做决策，但这些方法往往在复杂的任务中效果有限。相比之下，扩散模型则可以通过逐步去噪的过程生成复杂的动作序列，这使得它能够捕捉到更丰富的动作模式和潜在的策略空间。将扩散模型的优势引入到动作生成的过程中，通过模拟动作空间的扩散过程，逐步将一个随机的噪声序列转化为智能体的最终动作。

大模型日报｜8 篇必读的大模型论文

1、文章信息《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》。这是悉尼科技大学发表在国际顶级会议IJCAI 2019上的一...

空间、属性、时间是地理现象的三个基本特征，也是GIS数据库的三种基本数据成分。这里的“空间”指空间位置数据及其派生数据。“属性”指与空间位置无派生关系的专题属性数据。“时间”则指时间、空间和属性状态的时变信息。随着近年来以空间数据库为基础的GIS研究和应用的不断深入，随时间而变化的信息越来越受到人们的关注，因而提出了时态GIS（简称TGIS）的概念。时态GIS的组织核心是时空数据库，时空数据模