强化学习

介绍强化学习的基本范式、核心概念及相关技术，并系统梳理强化学习算法体系

介绍马尔可夫决策过程的基本概念、组成部分、值函数、贝尔曼方程以及最优化问题

介绍动态规划在强化学习中的应用，包括动态规划的定义、策略评估、策略迭代和价值迭代等内容

介绍蒙特卡洛方法在强化学习中的应用，包括蒙特卡洛方法的定义、蒙特卡洛预测、蒙特卡洛控制以及蒙特卡洛方法的优缺点等内容

介绍时间差分学习的基本概念，自举、蒙特卡洛方法与 TD 方法的对比，TD (λ) 的基本思想以及前向 / 后向 TD (λ) 的等价性等内容

介绍 Q-Learning 算法的基本原理，重要性采样以及从算子与不动点的角度看强化学习等内容

介绍函数逼近在强化学习中的应用，包括增量方法、批量方法、线性价值函数逼近、最小二乘 Q-Learning 以及最小二乘策略迭代等内容

介绍策略梯度方法的基本原理，REINFORCE 算法以及优势函数等内容

介绍 Actor-Critic 算法的基本原理，包括 Critic 模型的学习方法、几种 AC 算法的对比等内容

介绍基于模型的强化学习的基本原理，包括模型学习、Dyna-Q、Dyna-Q+、基于模拟的搜索等内容

介绍强化学习中的探索与利用问题，包括基本概念、Regret 的定义与分析、面对不确定性时保持乐观的策略以及信息状态搜索等内容

介绍基于值函数的深度强化学习的基本原理，包括 DQN、Double DQN、Dueling DQN 等内容

介绍 Actor-Critic 深度强化学习的基本原理，包括 A2C、A3C 等算法的核心思想、优势函数的定义与计算方法，以及它们在深度强化学习中的应用和实现细节

介绍信赖域方法在强化学习中的应用，包括 TRPO 和 PPO 算法的核心思想、损失函数的定义与计算方法，以及它们在强化学习中的应用和实现细节

介绍连续控制方法的基本原理，包括 DDPG、TD3、SAC 等算法的核心思想、优势函数的定义与计算方法

介绍基于模型的深度强化学习的基本原理，包括 AlphaZero、World Models、MuZero 等方法的核心思想、架构设计与应用场景

介绍强化学习与大语言模型（LLM）的结合，包括 LLM 代理的设计与实现、LLM 在强化学习中的应用，以及当前面临的挑战和未来的发展方向