一文解读 OpenAI Sora 核心技术

码龄20年

关注

原创最新推荐文章于 2026-05-23 17:20:52 发布 1.1k 阅读 GEO检测

OpenAI Sora原理探究春节假日期间，美国人工智能研究公司OpenAI发布了Sora模型。在文生文、文生图之后，Sora突破了文生视频技术，可以根据文本指令生成长达1分钟的逼真和富有想象力的视频，引起网络和公众高度关注。那么Sora模型的基本原理是什么？可能会带来哪些变化和影响？我们将sora的整个训练过程可以划分为四个大的步骤步骤一：使用 DALLE 3( CLIP )把文本和图像对建立关联性; 阅读详情

▼最近直播超级多，预约保你有收获

今天直播：《大模型Agent应用落地实战》

—1—

Sora 技术原理解读

如果用一句话来描述 Sora 训练建模过程，那就是：将原始视频通过一个视觉编码器（visual encoder）编码到隐空间（latent space）形成隐时空块（spacetime latent patches），这些隐时空块（结合 text 信息）通过 transformer 做 diffusion 的训练和生成，将生成的隐时空块再通过视觉解码器（visual decoder）解码到像素空间（pixel space）。

整个过程如下：visual encoding -> latent diffusion with diffusion transformer (DiT) -> visual decoding。

—2—

Sora 算不算世界模型？

世界模型分为广义的和狭义的。

广义的世界模型，就是任何能理解世界潜在物理规律的模型，比如可以预见未来结果的模型，比如：如果一个模型能预测玻璃杯掉下后的状态，说明该模型具备这样的能力；再比如：知道世界中实体或抽象概念之间相互联系的模型，比如：一个模型知道玻璃杯的硬度低于水泥地会导致玻璃破碎。

狭义的世界模型，更强调理解物理世界的动力（dynamics）或者运动等物理规律的模型，了解过强化学习的朋友们一定特别熟悉这些。在强化学习中，一大分支便是 model-based RL，这里的 model，其实就是典型的狭义世界模型。在此模型中，给定某一时刻的状态 s_t 和该时刻做的动作 a_t，模型可以预测出下一个时刻的状态 s_t+1。所以说，狭义的世界模型其实是因果的。回到上面的例子，s_t 可以是刚下落的杯子和干净的水泥地，a_t 则是自由落体这个动作，s_t+1 则是水泥地上碎掉的杯子这样一个状态。

Sora 算广义世界模型，同时也是隐式的狭义世界模型。

Sora 的 diffusion 过程其实是在从噪声状态在 text prompts 的约束下，预测可能的结果（视频）。这个过程看似跟狭义世界模型没有关系，但其实可以这么理解：

标准的狭义世界模型的状态转移过程为：s_0 -> a_0 -> s_1 -> a_1 -> s_2 -> ... -> a_T-1 -> s_T。对于一个视频来说，每一帧都可以看做一个状态s，但是某一时刻动作其实很难描述，我们很难用自然语言或者其他形式来描述相邻两帧之间发生了什么。但是我们可以用自然语言描述视频在做什么，也就是s_0到s_T发生了什么，也就是将动作序列 A={a_0, a_1, ..., a_T-1} 一起打包表示成一句话或者一段话。在 Sora中，text prompts 可以看做成这样的动作序列A。而 Sora 理解世界的过程也和一般的狭义世界模型不太一样，s_0 不再是第一帧，而是“混沌”状态（噪声），于是乎diffusion的过程可以理解为：s_0（噪声） -> A -> s_1 -> ... -> A -> s_T（清晰视频）。这其中，虽然 Sora 并没有显式建模世界的 dynamics，但其实在理解自然语言和视频内容之间的关系，算是一种广义上的世界模型。

—3—

Sora 成功的关键

大规模训练：大力出奇迹，这点毋庸置疑。大模型、大数据量、使用大规模算力，OpenAI 基本操作。
敢于突破常规、不屑于刷点：之前工作基本都采用 SD 预训练的 visual encoder，也知道该 encoder 多少有点不合理（比如只能处理固定size的输入），但没有人真的去重新训练一个更合理的 encoder（当然，更可能是算力不支持）。而 OpenA I发现问题，就用算力来解决问题（大概率重新训练visual encoder）。
实事求是 + 绝对领先的 sense：自回归的建模方式在 LLM 中大获成功，GPT 系列也出自 OpenAI，但这不代表 “Autoregressive is everything”，Sora 告诉大家，生成视频无需采用自回归，直接 3D 建模+ transformer encoder 结构就ok。
AGI 理念从上至下传播：Sam Altman 绝对是一个有大格局的人物，其最终目标是实现 AGI，我想整个 OpenAI 应该都会贯彻这样的理念，不管是 ChatGPT 还是 Sora，都能看到 AGI 的影子。

—4—

领取《AI 大模型技术直播》

我们梳理了下 AI 大模型应用开发的知识图谱，包括12项核心技能：大模型内核架构、大模型开发 API、开发框架、向量数据库、AI 编程、AI Agent、缓存、算力、RAG、大模型微调、大模型预训练、LLMOps 等。