世界模型与视频生成

更新日期：2026-04-15

---

一、世界模型概念

世界模型：能够理解和模拟物理世界的规律，从输入预测世界的未来状态。它是 LLM 之后 AI 的下一个大方向。参考 Video generation models as world simulators (OpenAI, 2024)。

flowchart LR
    obs["观察<br/>(图像/视频/状态)"]
    enc["编码器"]
    wm["世界模型<br/>p(o_t+1 | o_t, a_t)"]
    pred["预测下一状态"]
    plan["决策 / 规划"]

    obs --> enc --> wm --> pred --> plan

    classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
    class obs,enc,wm,pred,plan stage

跟纯生成模型的区别：

维度	视频生成（Sora）	世界模型（Dreamer / GAIA）
目标	视觉真实	物理一致 + 可决策
输入	文本 prompt	状态 + 动作
输出	视频	下一状态 + reward
评估	视觉质量（FVD）	任务成功率（Atari / driving）
训练	文-视频对	状态-动作-奖励三元组

详细架构对比见 world-model 章节 完整深读。

---

二、视频生成模型全景

2.1 主流模型

---

三、视频生成架构

3.1 主流架构对比

3.2 Sora 核心机制（推测）

Sora 基于 DiT，将视频看作时空 patch 序列。参考 Sora Technical Report (OpenAI, 2024)。

# Sora 的概念架构 (基于公开信息推测)

def sora_pipeline(text_prompt):
    # Step 1: 将视频表示为 visual patches (类似 ViT 的 patch)
    # 3D patches: (time, height, width)
    patches_shape = (T/dt, H/ph, W/pw)  # 时空 patches

    # Step 2: DiT 训练
    # 输入: 带噪声的 patches + text condition
    # 输出: 降噪后的 patches
    def dit_block(noisy_patches, text_emb, timestep):
        # Self-attention over spatiotemporal patches
        x = self_attention(noisy_patches)
        # Cross-attention with text
        x = cross_attention(x, text_emb)
        # Conditioning on timestep
        x = adaln(x, timestep)
        return x

    # Step 3: Diffusion inference
    noise = randn(patches_shape)
    for t in reverse(timesteps):
        noise = dit_block(noise, text_emb, t)

    video = decode_patches_to_video(noise)
    return video

3.3 CogVideoX 架构（开源）

CogVideoX 架构（开源）： 使用 3D 因果 VAE + DiT。

---

四、世界模型能力层次

4.1 Level 1-2: 文本/图像到视频

基本的 T2V / I2V。模型学习"怎么样的视频看起来真实"，但不真正理解物理。

4.2 Level 3: 动作条件视频

不只是输入文本，还能接受动作控制序列，预测动作执行后的结果。这是走向"世界模拟器"的关键。

class ActionConditionedVideoModel:
    def predict(self, initial_frame, action_sequence):
        # initial_frame: [H, W, 3]
        # action_sequence: [T, action_dim]

        video = [initial_frame]
        state = encode_state(initial_frame)

        for t, action in enumerate(action_sequence):
            # 预测下一帧
            next_state = self.transition(state, action)
            next_frame = self.decode(next_state)
            video.append(next_frame)
            state = next_state

        return video

4.3 Level 4: Genie 3 的交互式世界

Genie 3 (DeepMind 2024) 从单张图片生成可交互的 3D 环境。用户的输入（键盘/鼠标）直接影响视频生成。参考 Genie 3。 关键突破: - 单张图片 → 可探索的 3D 世界 - 720p @ 24fps 实时生成 - 分钟级一致性 (不会视觉漂移) - 物理效果: 水、火、阴影 - 交互: 键盘控制移动方向

4.4 Level 5: 物理准确的世界

目前仍然是研究级。挑战：真实物理规律（流体、碰撞、重力）和视觉生成的统一。

---

五、世界模型的应用

应用	描述	成熟度
游戏开发	AI 生成游戏场景和动作	中
影视制作	降低 CGI 成本	中
机器人训练	仿真环境无限生成	低中
自动驾驶	场景仿真 (DriveDreamer)	中
教育/培训	交互式学习环境	低
虚拟世界	元宇宙基础	低
科学模拟	物理/化学实验	极低

---

六、世界模型 vs LLM

维度	LLM	世界模型
数据	文本 web	视频 + 真实交互
任务	next-token	next-state
评估	准确率 / 推理	物理一致性 + 任务完成
当前 SOTA	GPT-5 / Claude / R1	Dreamer V4 / GAIA-3 / Cosmos

6.1 LLM + 世界模型融合

flowchart LR
    text["Language<br/>(LLM)"]
    vision["Vision<br/>(VLM)"]
    action["Action<br/>(World Model)"]
    vla["VLA<br/>统一模型"]

    text --> vla
    vision --> vla
    action --> vla

    classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
    class text,vision,action,vla stage

VLA (Vision-Language-Action) 是 2024-2026 的融合方向：

• Google RT-2 / RT-X：把 action 当 token 加入 LM vocab
• OpenVLA / Pi-0：单模型同时处理视觉、语言、动作
• Cosmos-Reason1：56B 模型整合 video + LM + 物理推理

长期：LLM 是"语言空间"的世界模型，物理世界模型是"物理空间"的，两者通过 VLA 融合解锁通用机器人。

---

七、世界模型 + 机器人

7.1 VLA (Vision-Language-Action) 模型

Google RT-2, Physical Intelligence π0 等使用的模式。

class VLA:
    def __init__(self, vision_encoder, lang_encoder, action_decoder):
        self.vision = vision_encoder
        self.lang = lang_encoder
        self.action = action_decoder

    def forward(self, image, instruction):
        visual_features = self.vision(image)
        text_features = self.lang(instruction)

        # 融合
        combined = combine(visual_features, text_features)

        # 输出机器人动作 (位置/速度/力)
        action = self.action(combined)
        return action

# 例:
# image: 厨房场景
# instruction: "把红色的杯子放到柜子里"
# action: 7-DOF 机械臂动作序列

7.2 代表工作

---

八、视频生成技术挑战

挑战	描述
时序一致性	物体在帧间保持一致
物理合理性	重力、碰撞、流体等
长视频	>60s 不崩溃
高分辨率	4K 的计算成本
可控性	精细动作控制
音画同步	Sora 2 新增

---

参考文献

• [1] Sora Technical Report. OpenAI 2024. 博客

• [2] Yang et al. CogVideoX. 2024. 论文

• [3] HunyuanVideo. 2024. 论文

• [4] Genie (DeepMind). 2024. 论文

• [5] Brohan et al. RT-2. 2023. 论文

• [6] Kim et al. OpenVLA. 2024. 论文

• [7] Wang et al. DriveDreamer. 2024. 论文

• [8] Sora 2 Launch. 2025. OpenAI

• [9] Awesome Video Generation to World Model GitHub

---

↑ 上级 · F. 多模态 VLM