博客标签

基于模型的深度强化学习

介绍基于模型的深度强化学习的基本原理，包括 AlphaZero、World Models、MuZero 等方法的核心思想、架构设计与应用场景

  • 深度学习时代的 Model-Based 方法结合了深度神经网络，在高维状态空间（如图像）和复杂控制任务中实现了突破性进展
    • AlphaZero（通过蒙特卡罗树搜索和自对弈实现超人表现）
    • World Models（学习可视化潜空间模型）
    • MuZero（隐式学习模型而不显式建模）

AlphaZero

  • AlphaZero 的核心思想

    • 结合深度神经网络、蒙特卡罗树搜索（MCTS）和自对弈学习
    • 在围棋、国际象棋、日本将棋等棋类游戏中实现了超越人类职业棋手的性能
    • 与 AlphaGo 不同，AlphaZero 不使用人类棋谱数据，完全通过自对弈从零学习

  • 环境模型与规划

    • 显式模型：棋类游戏的确定性环境模型（状态转移、奖励规则）完全已知
    • 规划方法：蒙特卡罗树搜索（MCTS）
      • 基于当前状态，通过模拟棋局来估计每步动作的价值
      • 在树中增量构建搜索树，逐渐精化对最优动作的估计

  • 神经网络架构

    • 双头网络
      • 策略头：输出动作概率分布 πθ(a∣s)\pi_\theta (a|s)，指导 MCTS 的动作选择
      • 价值头：输出状态价值 Vθ(s)V_\theta (s)，用作 MCTS 的 rollout 结束点的价值估计
    • 神经网络作为 MCTS 的先验和评估器，减少所需的搜索步数

  • 自对弈与学习

    • 初始化：随机初始化神经网络参数

    • 自对弈过程

      • 当前最强模型与自己对弈
      • 每步使用 MCTS（以神经网络为先验）选择动作
      • 完成一局后，根据游戏结果得到奖励（胜利 +1，失败 -1，平手 0）

    • 数据采集：从自对弈中收集轨迹 (st,πtMCTS,zt)(s_t, \pi_t^{MCTS}, z_t)

      • πtMCTS\pi_t^{MCTS}：MCTS 搜索后的访问概率（更准确的策略）
      • ztz_t：游戏最终结果的蒙特卡罗回报（真实奖励信号）

    • 参数更新：最小化损失函数

      L=(z−Vθ(s))2−πMCTSlog⁡πθ(s)+c∥θ∥2\mathcal {L} = (z - V_\theta (s))^2 - \pi^{MCTS} \log \pi_\theta (s) + c \|\theta\|^2
      • 第一项：价值预测误差
      • 第二项：策略与 MCTS 分布的 KL 散度（负号表示最大化）
      • 第三项：L2 正则化

  • AlphaZero 的特点

    • 优点：完全自动化学习无需人类知识；搜索加神经网络结合实现最优性；泛化能力强（一个框架适用多个游戏）
    • 缺点：需要完全已知的环境模型；计算开销巨大（需大量自对弈和搜索）；难以扩展到信息不完全、随机的真实环境
    • 适用场景：完全信息博弈、确定性环境、有明确奖励信号的任务

World Models

  • 动机

    • 许多高维控制任务中（如视觉导航、Atari 游戏），直接在原始像素空间学习模型困难且计算昂贵
    • World Models 通过学习一个低维潜在表示，在潜空间中建模环境动态，降低建模难度

  • 模型架构

    • 三个主要组件

      • VAE 编码器：将高维观测（图像）编码到低维连续潜向量 zt∈R32z_t \in \mathbb {R}^{32}

        zt∼qϕ(zt∣ot)z_t \sim q_\phi (z_t | o_t)

        其中 oto_t 是原始观测，ϕ\phi 是编码器参数

      • RNN 动态模型：在潜空间中预测下一个潜状态

        z^t+1=fψ(zt,at,ht)\hat {z}_{t+1} = f_\psi (z_t, a_t, h_t)

        其中 hth_t 是 RNN 的隐状态，ψ\psi 是 RNN 参数

      • VAE 解码器：将潜向量解码回观测空间进行重构

        o^t+1=gϕ(zt+1)\hat {o}_{t+1} = g_\phi (z_{t+1})

    • 奖励预测：单独的小网络预测奖励

      r^t+1=rω(zt,at)\hat {r}_{t+1} = r_\omega (z_t, a_t)

  • 学习过程

    • 第一阶段：模型学习（无监督）
      • 从真实交互轨迹中收集数据
      • 训练 VAE 使重构误差 ∥ot−o^t∥2\|o_t - \hat {o}_t\|^2 最小化
      • 训练 RNN 使潜空间预测误差 ∥zt+1−z^t+1∥2\|z_{t+1} - \hat {z}_{t+1}\|^2 最小化
      • 训练奖励预测器使 E[(rt+1−r^t+1)2]\mathbb {E}[(r_{t+1} - \hat {r}_{t+1})^2] 最小化
    • 第二阶段：控制学习（基于学到的模型）
      • 在学到的模型中进行 "幻想"rollout，生成虚拟轨迹
      • 使用 Model-Free 方法（如 CEM、进化策略）在虚拟轨迹上学习策略

  • World Models 的特点

    • 优点：通过潜空间降低建模复杂性；VAE 提供的随机性增加探索；分离感知和动态，模块化设计清晰
    • 缺点：潜空间学习质量决定了后续控制性能；RNN 的循环结构学习困难，长期预测误差累积严重；VAE 的随机性可能干扰精确预测
    • 适用场景：高维视觉观测、需要紧凑表示的任务、样本数据有限的环境

MuZero

  • MuZero 的核心创新

    • 不直接建模真实环境模型 M=⟨P,R⟩\mathcal {M}=\langle\mathcal {P}, \mathcal {R}\rangle，而是学习一个抽象模型
    • 仅学习对规划有用的信息：价值相关的状态表示和转移
    • "世界模型可以是隐式的"（Don't model pixels，model value）

  • 问题设置与对比

    • 传统 Model-Based：学习 st→rt+1,st+1s_t \to r_{t+1}, s_{t+1} （显式完整模型）
    • MuZero：学习 st→rt+1,vt+1s_t \to r_{t+1}, v_{t+1} 和隐式状态转移（仅保留价值相关信息）

  • 网络架构

    • 三个核心网络

      • 表示函数（Representation）：从原始观测 oto_t 生成初始隐状态 s0s_0

        s0=hθ(ot)s_0 = h_\theta (o_t)

      • 动力函数（Dynamics）：在隐状态空间中预测转移和奖励

        rk,sk=gθ(sk−1,ak)r_k, s_k = g_\theta (s_{k-1}, a_k)

        其中 kk 表示规划步骤（0 到 H-1），仅预测奖励不预测观测

      • 预测函数（Prediction）：从隐状态估计策略和价值

        πk,vk=fθ(sk)\pi_k, v_k = f_\theta (s_k)

    • 联合学习：θ\theta 在所有网络间共享参数，形成一个紧凑的隐式模型

  • 规划与学习

    • 蒙特卡罗树搜索（MCTS）规划

      • 在学到的隐式模型中进行 H 步前向规划
      • 使用神经网络提供的策略 πk\pi_k 和价值 vkv_k 指导搜索
      • 在叶节点处，价值由 vHv_H 估计而不是 rollout

    • 损失函数（联合优化）

      L(θ)=∑k=0H−1[(z−vk)2−πkMCTSlog⁡πk+λ(r^k−rk)2]\mathcal {L}(\theta) = \sum_{k=0}^{H-1} \left [(z - v_k)^2 - \pi^{MCTS}_k \log \pi_k + \lambda (\hat {r}_k - r_k)^2 \right]
      • 第一项：价值预测损失（zz 是 MC 回报或 TD 目标）
      • 第二项：策略蒸馏损失（将 MCTS 策略蒸馏到神经网络）
      • 第三项：奖励预测损失（权重 λ\lambda，通常很小）

    • 训练流程

      • 与环境交互收集轨迹
      • 对每个轨迹步 tt 和规划深度 kk，计算上述损失
      • 参数 θ\theta 通过梯度下降更新

  • MuZero 与 AlphaZero 的对比

    • AlphaZero：显式模型（确定性环境），针对完全信息游戏优化
    • MuZero：隐式模型（学什么由规划目标决定），适应更广泛的环境（随机、部分可观测）

  • MuZero 的特点

    • 优点：隐式建模避免了学习无关细节（如精确像素重构）；样本效率高（规划 + 值函数兼顾探索与利用）；泛化性强（无需环境假设）
    • 缺点：训练复杂度高（需同时优化表示、动力、预测三个函数）；超参数众多（规划深度 H、奖励权重 λ 等）；可解释性弱（隐式模型难以理解）
    • 适用场景：高维随机环境、样本有限的任务、不需要观测重构的控制问题

深度 Model-Based 方法的共同特点与局限

  • 共同特点
    • 样本效率：相比 Model-Free，通过规划重用数据，样本效率更高
    • 泛化：学到的模型可用于多个目标或任务（迁移学习）
    • 可解释性：AlphaZero 的 MCTS 搜索过程可视化；World Models 的潜空间有可解释性
  • 共同局限
    • 模型误差与累积：规划越深，模型误差累积越严重
    • 计算开销：MCTS 搜索、RNN 前向推理、多网络训练都很昂贵
    • 环境依赖：AlphaZero 需完全已知模型；World Models 依赖潜空间质量；MuZero 需大量计算
    • 从象征到现实的鸿沟：高维复杂环境（如机器人操纵）中仍面临挑战
这篇文档有帮助吗？
报告问题在 GitHub 上编辑

连续控制方法

介绍连续控制方法的基本原理，包括 DDPG、TD3、SAC 等算法的核心思想、优势函数的定义与计算方法

强化学习与 LLM

介绍强化学习与大语言模型（LLM）的结合，包括 LLM 代理的设计与实现、LLM 在强化学习中的应用，以及当前面临的挑战和未来的发展方向

On this page

AlphaZero
World Models
MuZero
深度 Model-Based 方法的共同特点与局限

页面信息