循环神经网络

基本概念

• FNN、CNN 处理序列数据的局限性
  • 只适合：图片分类、识别等任务
  • 不适合：连续数据处理，与时间有关数据（序列依赖关系）
    • 比如语音、文本、视频、金融数据（股票波动）
    • 整个数据由若干同类型单元组成，称为 “帧”，如音素、字词、每帧图像
    • 帧与帧之间存在相互依赖关系，不再满足独立性假设， 需要考虑数据前后位置关系
  • 无法处理变长度数据
    • 全部或者部分丧失数据之间前后依赖性
    • 单次处理数据长度不能过长，容易引起参数爆炸

循环神经网络（Recurrent Neural Network, RNN）

• 给定输入序列 $X = [x_1, x_2, \dots, x_T]$，RNN 的计算过程为：

  • 输入层：序列中的每个时间步 $t$，输入 $x_t$

  • 隐藏层：每个时间步的隐藏状态 $h_t$ 根据当前输入 $x_t$ 和前一时间步的隐藏状态 $h_{t-1}$ 计算：

    $$h_t = f (W_{hx} \cdot x_t + W_{hh} \cdot h_{t-1} + b_h)$$
    • $W_{hx}$：输入到隐藏层的权重矩阵
    • $W_{hh}$：隐藏层到隐藏层的权重矩阵（时间共享）
    • $b_h$：隐藏层的偏置。
    • $f$：激活函数（如 tanh 或 ReLU）

  • 输出层：计算每个时间步的输出 $y_t$：

    $$y_t = g (W_{hy} \cdot h_t + b_y)$$
    • $W_{hy}$：隐藏层到输出层的权重矩阵
    • $g$：输出激活函数（如 softmax 或 sigmoid）

双向循环神经网络

• 基本思想

  • 普通 RNN 只能利用序列的过去信息（即从 $t=1$ 到 $t=T$ 的顺序）
  • BiRNN 在同一时间步 $t$ 同时考虑：
    • 前向 RNN：从 $t=1$ 到 $t=T$ 的正向传播
    • 后向 RNN：从 $t=T$ 到 $t=1$ 的反向传播
  • 最终输出结合两种方向的信息

• 每个时间步 $t$ 的隐藏状态为：$h_t = [h_t^f; h_t^b]$

  • $h_t^f$：前向隐藏状态
  • $h_t^b$：后向隐藏状态
  • 输出 $y_t$ 结合了前向和后向隐藏状态的信息

• 给定输入序列 $X = [x_1, x_2, \dots, x_T]$

  • 前向 RNN：$h_t^f = f (W_{hx}^f \cdot x_t + W_{hh}^f \cdot h_{t-1}^f + b_h^f)$

  • 后向 RNN：$h_t^b = f (W_{hx}^b \cdot x_t + W_{hh}^b \cdot h_{t+1}^b + b_h^b)$

  • 输出层：每个时间步的输出 $y_t = g (W_{hy} \cdot [h_t^f; h_t^b] + b_y)$

• 基本循环神经网络和双向神经网络：只有单个隐藏层，不能很好学习数据内部关系

• Deep（Bidirectional）RNN：叠加多个隐藏层，即在每个时刻会有多个隐藏层，有更强学习能力，但需要更多训练数据

• 循环神经网络训练算法 —— 基于时间的反向传播 BPTT（Back-Propagation Through Time）

• 优化问题

  • RNN 循环神经网络在时间维度上非常深，导致在训练中很容易发生梯度爆炸和梯度消失问题
  • 训练时梯度不能在较长序列中一直传递下去，从而使 RNN 无法捕捉到长距离的影响

• 正则化方法（Dropout）

RNN 的架构类型

LSTM

• 公式：假设当前输入为 $x_t$，前一时刻的隐藏状态和记忆单元状态分别为 $h_{t-1}$ 和 $c_{t-1}$

  • 遗忘门（Forget Gate）：决定当前时刻哪些信息需要从记忆单元中删除

    $$f_t = \sigma (W_f \cdot [h_{t-1}, x_t] + b_f)$$
    • $f_t \in [0, 1]$：表示是否保留记忆单元中信息的比例

  • 输入门（Input Gate）：决定当前输入信息的重要性，并选择性地将其添加到记忆单元

    $$i_t = \sigma (W_i \cdot [h_{t-1}, x_t] + b_i)$$
    • $i_t \in [0, 1]$：表示当前输入的重要程度

  • 候选记忆单元状态：

    $$\tilde {c}_t = \tanh (W_c \cdot [h_{t-1}, x_t] + b_c)$$
    • $\tilde {c}_t$：表示当前输入的候选记忆信息

  • 更新记忆单元状态（Cell State）：用来存储长期的上下文信息

    $$c_t = f_t \odot c_{t-1} + i_t \odot \tilde {c}_t$$
    • $c_t$：结合过去的记忆和当前的输入，更新记忆单元状态

  • 输出门（Output Gate）：决定从记忆单元中读取哪些信息作为当前的隐藏状态输出

    $$o_t = \sigma (W_o \cdot [h_{t-1}, x_t] + b_o)$$
    • $o_t \in [0, 1]$：表示当前记忆单元中哪些信息用于生成隐藏状态

  • 隐藏状态：

    $$h_t = o_t \odot \tanh (c_t)$$
    • $h_t$：作为当前时刻的输出信息

• 综述所述，LSTM 公式可描述如下

  $$\begin {align*} \begin {bmatrix} \tilde {c}_t \\ o_t \\ i_t \\ f_t \end {bmatrix} &= \begin {bmatrix} \tanh \\ \sigma \\ \sigma \\ \sigma \end {bmatrix} \begin {pmatrix} \mathbf {x}_t \\ \mathbf {h}_{t-1} \end {pmatrix} + \mathbf {b} \\ c_t &= f_t \odot c_{t-1} + i_t \odot \tilde {c}_t\\ h_t &= o_t \odot \tanh (c_t) \end {align*}$$

GRU

• GRU 比 LSTM 网络更简单的循环神经网络

  • LSTM 中引入三个门函数控制输入值、记忆值和输出值，参数较多，训练起来比较困难
  • 遗忘门和输入门合并成更新门，另外多一个重置门
  • 不需要计算额外的内部状态 $c$，在当前状态 $h_t$ 和历史状态 $h_{t-1}$ 之间引入线性依赖关系

• 公式：假设当前时刻的输入为 $x_t$，上一时刻的隐藏状态为 $h_{t-1}$

  • 更新门：控制当前时刻的隐藏状态中有多少信息需要从上一时刻传递，以及有多少新信息需要添加

    $$z_t = \sigma (W_z \cdot [h_{t-1}, x_t] + b_z)$$
    • $z_t \in [0, 1]$：更新门的输出，表示上一时刻的隐藏状态与当前时刻的输入的权重

  • 重置门：决定丢弃多少过去的记忆，从而有选择性地 “重置” 上一时刻的隐藏状态

    $$r_t = \sigma (W_r \cdot [h_{t-1}, x_t] + b_r)$$
    • $r_t \in [0, 1]$：重置门的输出，控制当前时刻如何利用上一时刻的隐藏状态

  • 候选隐藏状态：将记忆直接集成到隐藏状态 $h_t$ 中，结构更为简单

    $$\tilde {h}_t = \tanh (W_h \cdot [r_t \odot h_{t-1}, x_t] + b_h)$$
    • $\tilde {h}_t$：基于当前输入和重置后的隐藏状态计算得到的候选隐藏状态

  • 隐藏状态更新：

    $$\begin {align*} h_t &= z_t \odot h_{t-1} + (1 - z_t) \odot \tilde {h}_t \\ &= z_t\odot h_{t-1}+(1-z_t)\odot\tanh (W_hx_t+U_h (r_t\circ h_{t-1})+b_h) \end {align*}$$
    • $h_t$：结合上一时刻的隐藏状态（通过更新门的权重）和候选隐藏状态，更新当前隐藏状态

• 当 $z_t=0$ 且 $r_t=1$ 时，隐状态 $h_t$ 退化为简单循环神经网络，即 $h_t=\tanh (W_hx_t+U_hh_{t-1}+b_h)$

Seq2Seq 模型

Seq2Seq（Sequence-to-Sequence）

• 输入序列 → 输出序列的模型

• 典型任务：机器翻译、文本摘要、对话生成

• 核心特性：输入和输出长度不必相等

• 公式表示：

$$Y = f_\theta (X) \quad\text{其中} X = (x_1,...,x_m), \quad Y=(y_1,...,y_n)$$

• 特点：

  • 强调 “序列映射” 关系

  • 可以使用 RNN、LSTM、GRU 或 Transformer 实现

    • 不一定是端到端的（可以有特征工程或分阶段处理）

End-to-End（端到端）

• 模型直接从原始输入到目标输出，不需要人工设计中间步骤

• 核心思想：所有处理通过一个模型学习完成

• 特点：数据驱动，最小人工干预

• 例子：

  • 图片 → 描述（Image Captioning）
  • 语音 → 文本（ASR）

• End-to-End 是训练方式或设计理念，而非具体网络结构

Encoder-Decoder（编码器 - 解码器）

• 一种具体模型结构

• 分两步：

  • Encoder：把输入序列编码成上下文向量（Context Vector 或一系列 hidden states）
  • Decoder：根据上下文生成输出序列

• 公式表示：

• Encoder：

  $$H = \text{Encoder}(X) \quad\text{其中} H=(h*1,...,h_m)$$

• Decoder：

  $$y_t = \text{Decoder}(y_{*{<t}}, H)$$

• 特点：

  • Encoder-Decoder 是 Seq2Seq 的典型实现方式

  • 可以支持 Attention（增强性能，解决长序列瓶颈）