NLP

id="_4">序列数据

序列是数据点或事件的有序列表。

与独立的图像或表格数据不同，序列数据中的元素具有内在的顺序和时间依赖性。

典型的例子包括：自然语言文本、语音、视频、股票价格、天气读数或传感器数据等。

在

NLP

领域，文本翻译、语音识别等场景都离不开对序列数据的处理。

序列模型

传统的

FFN（Feedforward

CNN（卷积神经网络）在处理这类数据时会遇到根本性的困难，因为它们假设所有输入都是相互独立的，所以无法捕捉到数据点之间的时序关系。

比如在处理一个句子时，FNN

会孤立地看待每个单词，从而丢失了至关重要的上下文信息。

为了解决这个问题，我们需要一种能够

RNN

src="https://i-blog.csdnimg.cn/direct/22f3042b84c94d8a97dacd84a0c21939.png">

FNN（前馈神经网络）是一种全连接神经网络，每一层的神经元都和上下两层的每一个神经元完全连接。

并且信息只能沿着输入到输出的方向单向传播，不存在循环或反馈连接。

也就是说，数据从输入层进入，经过中间的隐藏层逐层处理后，最终由输出层输出结果，层与层之间的连接是

“前馈”

src="https://i-blog.csdnimg.cn/direct/4505b0d902e547c692364819f83db769.png">

而

Sequence

领域的应用场景包括：

1. 文本处理：单词的顺序决定了句子的含义。

   如：机器翻译、情感分析、聊天机器人。

2. 语音识别：音频转文本。

3. 音乐生成：声波是随时间变化的连续信号。

4. 视频生成：视频由一系列有序的图像帧组成。

5. 时间序列分析：分析按时间顺序排列的数据点序列，如：股票价格、传感器读数、天气预报等，其当前值与历史值密切相关。

值得注意的是，Sequence

Model

的目标是发现序列数据中的模式和依赖关系，从而进行预测、分类，甚至生成新的序列。

当下经典的序列模型结构包括：RNN、LSTM、GRU、Transformer

NLP

任务所需要处理的文本往往是序列，因此专用于处理序列、时序数据的

RNN

任务中（尤其是在处理超长序列时）表现出了更强的性能和更好的并行性，但

RNN、LSTM

它们在计算效率、对实时流数据的处理以及在某些特定任务上的表现依然具有优势。

alt="在这里插入图片描述"

src="https://i-blog.csdnimg.cn/direct/28d0658e9bbc4dfd816019af2498c2a7.png">

id="RNN_33">RNN（循环神经网络）

1990

年，Jeffrey

Networks，循环神经网络）序列模型。

它开启了对序列数据和序列模型的研究，开创了模型能够

“记忆历史信息”

src="https://i-blog.csdnimg.cn/direct/7664db0774794f93bf6f0040b02a98dd.png">

RNN

神经元结构

RNN

个关键特性：

1. 信息持久化（Information

   能够在隐藏层（Hidden

   能够学习到序列元素之间的长距离依赖关系的前提。

2. 反馈循环（Feedback

   Loop）：通过在隐藏层的每个节点上添加一个反馈循环连接，使得它在处理序列中的每个元素（如一个词、一个时间点的数据）时，它不仅要考虑当前的输入，还要考虑它从之前所有步骤中计算并保留下来的

   “历史记忆”。

   所以这个状态会随着网络处理输入序列中的每个元素而更新，就像是不断被刷新的

   “记忆”，但该

   有限且无法长期保存。

3. 捕捉依赖关系（Captures

   的目的是捕捉序列数据中随时间分布的依赖关系和模式。

   但受限于梯度消失，仅能有效学习短距离依赖，无法处理长序列（如超过

   alt="在这里插入图片描述"

   src="https://i-blog.csdnimg.cn/direct/fda0e1d83cfb4c839cc50fd7a95586ab.png">

   在

   RNN

   模型中，时间步是处理序列元素的基本单位，一个时间步处理的就是一个序列元素。

   所以一个序列由多个时间步（元素）组成，每个

   RNN

   神经元展开（Unfold）后，就成为了一个链式的结构，每一个环节表示一个时间步处理一个序列元素。

   每个时间步（t）不仅会接收当前的输入

   h_t

   src="https://i-blog.csdnimg.cn/direct/72109e5aff0e42b48bcc8912a108099e.png">

   alt="在这里插入图片描述"

   src="https://i-blog.csdnimg.cn/direct/2f75e88125004a1a8bf807be7f15ab6b.png">

   简单

   RNN

   的核心计算可以用以下两个公式来描述：

   1. 隐藏状态的计算：

   punctuation">)

   start="2">

   输出的计算：

其中：

• x_t：在时间步

  的输入向量，如文本中的词向量。

• h_t,

  h_t-1：在时间步

  的隐藏状态，即：历史信息，是核心的记忆载体。

• y_t：在时间步

  W_hh,

  W_hy：分别是输入层到隐藏层、隐藏层到自循环隐藏层、隐藏层到输出层的权重矩阵。

  作为共享参数，在所有时间步中是共享的。

  • W_xh

  隐藏层维度

b_h,

• b_h

1

f：激活函数

• 隐藏层用

Softmax（分类）或线性激活（回归）

alt="在这里插入图片描述"

src="https://i-blog.csdnimg.cn/direct/5b2af53bb3844bc89d5fb332a9190299.png">

训练算法

RNN

BPTT（Backpropagation

计算，然后将梯度从最后一个时间步开始，沿着时间序列反向传播，并用这些梯度来更新共享的

W_xh,

src="https://i-blog.csdnimg.cn/direct/7f0512c32ff34014b82ffb20edf8e5aa.png">

PyTorch

class-name">SimpleRNN

class="token

punctuation">.Module

class="token

punctuation">(SimpleRNN

class="token

punctuation">.__init__

class="token

W_hy：分别是输入层到隐藏层、隐藏层到自循环隐藏层、隐藏层到输出层的权重矩阵。

作为共享参数，在所有时间步中是共享的。

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(output_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(output_dim

class="token

punctuation">.hidden_dim

punctuation">.output_dim

时间步：在序列模型中，时间步是处理序列数据的基本单位。

它代表了模型按顺序处理输入数据的一个

“步骤”

punctuation">.zeros

class="token

punctuation">.hidden_dim

class="token

punctuation">(x_seq

class="token

punctuation">.shape

class="token

punctuation">.unsqueeze

class="token

计算序列输出，仅使用了最后一个隐藏状态来计算最终输出的分类结果

punctuation">.log_softmax

class="token

punctuation">(y_final

class="token

punctuation">(vocab

class="token

步骤2：训练数据，使用空格作为词元的分隔符，并且进行了数据的手动标注。

train_data

function">text2onehot

class="token

punctuation">.split

class="token

生成One-Hot向量（输入维度=vocab_size）

onehot

punctuation">.zeros

class="token

punctuation">(vocab_size

class="token

punctuation">[vocab

class="token

punctuation">.append

class="token

punctuation">(onehot

class="token

punctuation">.stack

class="token

punctuation">(onehot_seq

class="token

punctuation">(input_dim

class="token

punctuation">.NLLLoss

class="token

使用负对数似然损失计算方法，对应log_softmax的损失函数

optimizer

punctuation">(model

class="token

punctuation">.parameters

class="token

punctuation">(epochs

class="token

punctuation">.tensor

class="token

punctuation">[label

class="token

punctuation">(x_seq

class="token

关键修改：先squeeze去掉最后一维→[2]，再reshape为[1,2]（batch_size=1，类别数=2）

y_pred_reshaped

punctuation">.squeeze

class="token

punctuation">.reshape

class="token

计算损失（现在维度完全匹配：input[1,2]，target[1]）

punctuation">(y_pred_reshaped

class="token

punctuation">.zero_grad

class="token

punctuation">.backward

class="token

punctuation">{epoch

class="token

punctuation">}

class="token

punctuation">{total_loss

class="token

punctuation">(train_data

class="token

punctuation">}

class="token

punctuation">.no_grad

class="token

punctuation">(x_seq

class="token

punctuation">.squeeze

class="token

punctuation">.reshape

class="token

punctuation">.argmax

class="token

punctuation">(y_pred_reshaped

class="token

punctuation">}

class="token

punctuation">{emotion

class="token

punctuation">}

class="token

punctuation">{pred_label

class="token

punctuation">}

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

局限示例（>5个词/含矛盾语义，分类失败）

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

真实情感：中性/偏负面，纯RNN会分类错误

执行输出：

id="_PyTorch__2__RNN_283">使用

PyTorch

的容量大，能拟合更复杂的序列规律，比如长文本的上下文依赖。

这是一个

先经过第一层过滤器提取基础特征，再经过第二层（甚至更多层）提取更抽象的特征，最后

punctuation">.replace

class="token

punctuation">.replace

class="token

punctuation">(chars

class="token

punctuation">(chars

class="token

punctuation">(chars

class="token

function">build_data

class="token

punctuation">.tensor

class="token

punctuation">[char2idx

class="token

punctuation">.tensor

class="token

punctuation">[char2idx

class="token

punctuation">(vocab_size

class="token

punctuation">.append

class="token

punctuation">(x_onehot

class="token

punctuation">(train_data

class="token

class-name">SimpleTwoLayerRNN

class="token

punctuation">.Module

class="token

punctuation">.__init__

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim1

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim1

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim1

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim2

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim2

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim2

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(output_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(output_dim

class="token

punctuation">.zeros

class="token

punctuation">.W_hh1

class="token

punctuation">.shape

class="token

punctuation">.zeros

class="token

punctuation">.W_hh2

class="token

punctuation">.shape

class="token

punctuation">(x_seq

class="token

punctuation">.shape

class="token

punctuation">.unsqueeze

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">.W_hh1

class="token

punctuation">.matmul

class="token

punctuation">.W_xh1

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">.W_hh2

class="token

punctuation">.matmul

class="token

punctuation">.W_h1h2

class="token

punctuation">.matmul

class="token

punctuation">.log_softmax

class="token

punctuation">.squeeze

class="token

punctuation">.append

class="token

punctuation">.stack

class="token

punctuation">(all_preds

class="token

punctuation">(vocab_size

class="token

punctuation">.NLLLoss

class="token

punctuation">(model

class="token

punctuation">.parameters

class="token

训练轮次500，每100轮打印loss（更清晰看到训练趋势）

punctuation">.zero_grad

class="token

punctuation">(preds

class="token

punctuation">.backward

class="token

每100轮打印一次loss（减少冗余输出，聚焦趋势）

punctuation">(epoch

class="token

punctuation">(train_data

class="token

punctuation">{epoch

class="token

punctuation">}

class="token

punctuation">{avg_loss

class="token

punctuation">}

class="token

function">generate_text

class="token

punctuation">(prefix

class="token

punctuation">.no_grad

class="token

punctuation">(prefix

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim1

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim2

class="token

punctuation">(vocab_size

class="token

punctuation">[char2idx

class="token

punctuation">.unsqueeze

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_hh1

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_xh1

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_hh2

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_h1h2

class="token

逐字符生成（生成长度从10→20，更能体现效果）

punctuation">(vocab_size

class="token

punctuation">[char2idx

class="token

punctuation">[last_char

class="token

punctuation">.unsqueeze

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_hh1

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_xh1

class="token

punctuation">(torch

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_hh2

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.W_h1h2

class="token

punctuation">.matmul

class="token

punctuation">(model

class="token

punctuation">.argmax

class="token

punctuation">[next_idx

class="token

punctuation">.append

class="token

punctuation">(next_char

class="token

punctuation">(prefix

class="token

punctuation">{prefix

class="token

punctuation">}

class="token

punctuation">{gen_result

class="token

punctuation">}

class="token

punctuation">)

执行输出：

生成：千山月月，万径人踪灭。

孤舟蓑笠翁，独钓寒

RNN

src="https://i-blog.csdnimg.cn/direct/fda0e1d83cfb4c839cc50fd7a95586ab.png">

输入-输出结构类型

id="NN__450">N-N

通常适合用于以下任务：

1. 词性标注。

2. 训练语言模型，使用之前的词预测下一个词等。

alt="在这里插入图片描述"

src="https://i-blog.csdnimg.cn/direct/9e87097cfc9542c19a194a868e51d165.png">

1-N

结构

1-N

就是一张图片，输出就是一段图片的描述文字。

根据音乐类别，生成对应的音乐。

根据小说类别，生成相应的小说。

可以有两种方式实现

1-N:

1. 只将输入

src="https://i-blog.csdnimg.cn/direct/f4848fbe253a4a568a6cf458420c1be9.png">

将输入

RNN

src="https://i-blog.csdnimg.cn/direct/8172b52ccb3141a785424b8437bf8474.png">

id="N1__472">N-1

y。

适合用于以下任务：

1. 序列分类任务，一段语音、一段文字的类别，句子的情感分析。

   
   

   alt="在这里插入图片描述"

   src="https://i-blog.csdnimg.cn/direct/d06d90d7b6ed4353ac104be306ace59b.png">

RNN

RNN

的设计在理论上能够捕捉任意长度的序列依赖关系，但在实践中，RNN

很难学习到

训练的输入序列太长时，早期时间步的梯度会逐渐消失，导致模型无法记住早期信息，例如：在句子

grew

id="_482">梯度消失

梯度消失（Vanishing

RNN

反向传播过程中，梯度随着时间步或隐藏层数的增加而指数级衰减，导致远离输出层的参数几乎无法得到有效更新。

最早在

1991

网络中进行反向传播时，他会发现前面隐藏层的权重参数几乎不更新了，因为这时的梯度几乎为零。

梯度消失的根本原因是

“累乘衰减”，在反向传播梯度时，如果

的权重矩阵。

经过多个时间步后，梯度就会越来越小，几乎接近于零。

继而导致网络无法更新前面层的权重，推理时会表现出

“忘记”

末步梯度”，即：序列开始位置的梯度远远地小于结束位置。

如下所示：

梯度消失的数学原理在反向传播的梯度计算链式法则上，链式法则的连乘导致了早期梯度的

punctuation">)

start="2">

反向传播中的梯度链式法则：

punctuation">(tanh'

class="token

punctuation">(tanh'

class="token

1，那么早期梯度会出现指数级的衰减。

“历史记忆”

实际上是短暂的，这限制了它在需要理解长篇文本或分析长期时间序列等任务中的应用。

梯度爆炸

梯度爆炸（Exploding

Gradients）：和梯度消失相反，如果权重矩阵的值很大，梯度在反向传播过程中可能会指数级增长，导致数值溢出（FP32/16）和训练过程的不稳定。

梯度爆炸可以通过梯度裁剪（Gradient

Clipping）等技术相对容易地解决，相对的梯度消失问题则更为棘手。

id="LSTM_534">LSTM（长短期记忆网络）

1997

年，Sepp

RNN，它通过使用专门的记忆单元和门控机制来序列数据中的长期依赖关系，能够学习到

“何时”

id="_540">模型结构与数学表达

LSTM

的核心思想是随时间选择性地记住或遗忘信息，通过记忆单元的线性传递路径（类似信息高速公路）和门控机制，避免梯度在长序列中衰减，相当于为梯度传递安装了中继器。

LSTM

RNN

中的隐藏层单元换成了一种具有特殊记忆功能的循环体结构，在隐藏层状态

h_t

梯度消失的问题。

• 输入：包括当前输入、上一时间步的隐藏状态（Hidden

  State）。

• 门控：每个

  Cell

  个关键的门，它们互相协作共同更新当前时间步的记忆单元状态（如图最上方连线）。

  门的本质是一个由

  Sigmoid

  表示保留部分信息。

• 输出：包括当前记忆单元状态和当前输出。

  
  

  alt="在这里插入图片描述"

  src="https://i-blog.csdnimg.cn/direct/7aeedf4385d84935855bc974b35880fe.png">

1. 遗忘门（Forget

   sigmoid

   punctuation">)

   start="2">

   输入门（Input

   Cell

   C̃_t，该向量可以被添加到记忆单元状态中。

punctuation">)

start="3">

记忆单元状态更新：通过处理要遗忘和要保留的信息，完成上一时刻的记忆单元状态

C_t-1

层的输出相乘，从而只会输出了想要输出的部分。

这个输出就是新的隐藏状态

punctuation">)

src="https://i-blog.csdnimg.cn/direct/ff7d8dffaf3345f2ae94320589a3996a.png">

alt="在这里插入图片描述"

src="https://i-blog.csdnimg.cn/direct/cd9708f3ff8a4730bb7f5e48e299eb77.png">

PyTorch

class-name">SimpleLSTM

class="token

punctuation">.Module

class="token

punctuation">(SimpleLSTM

class="token

punctuation">.__init__

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim

class="token

输出门（o）：控制细胞状态的哪些部分输出为隐藏状态

self

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(hidden_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.randn

class="token

punctuation">(output_dim

class="token

punctuation">.Parameter

class="token

punctuation">(torch

class="token

punctuation">.zeros

class="token

punctuation">(output_dim

class="token

punctuation">.hidden_dim

punctuation">.output_dim

LSTM前向传播（序列级分类：仅用最后一个时间步的隐藏状态输出）

核心：维护两个状态——隐藏状态h

punctuation">.zeros

class="token

punctuation">.hidden_dim

class="token

punctuation">.zeros

class="token

punctuation">.hidden_dim

class="token

punctuation">(x_seq

class="token

punctuation">.shape

class="token

punctuation">.unsqueeze

class="token

punctuation">.sigmoid

class="token

punctuation">.sigmoid

class="token

punctuation">.sigmoid

class="token

序列级分类：用最后一个时间步的隐藏状态计算输出（和原RNN逻辑一致）

y_final

punctuation">.log_softmax

class="token

punctuation">(y_final

class="token

punctuation">(vocab

class="token

function">text2onehot

class="token

punctuation">.split

class="token

punctuation">.zeros

class="token

punctuation">(vocab_size

class="token

punctuation">[vocab

class="token

punctuation">.append

class="token

punctuation">(onehot

class="token

punctuation">.stack

class="token

punctuation">(onehot_seq

class="token

punctuation">(input_dim

class="token

核心修改：SimpleRNN→SimpleLSTM

criterion

punctuation">.NLLLoss

class="token

punctuation">(model

class="token

punctuation">.parameters

class="token

punctuation">(epochs

class="token

punctuation">.tensor

class="token

punctuation">[label

class="token

punctuation">(x_seq

class="token

punctuation">.squeeze

class="token

punctuation">.reshape

class="token

punctuation">(y_pred_reshaped

class="token

punctuation">.zero_grad

class="token

punctuation">.backward

class="token

punctuation">{epoch

class="token

punctuation">}

class="token

punctuation">{total_loss

class="token

punctuation">(train_data

class="token

punctuation">}

class="token

punctuation">.no_grad

class="token

punctuation">(x_seq

class="token

punctuation">.squeeze

class="token

punctuation">.reshape

class="token

punctuation">.argmax

class="token

punctuation">(y_pred_reshaped

class="token

punctuation">}

class="token

punctuation">{emotion

class="token

punctuation">}

class="token

punctuation">{pred_label

class="token

punctuation">}

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

punctuation">(predict

class="token

LSTM：负面（原RNN：错误）

解决

中的门控机制约束了哪些信息是可以遗忘的、哪些信息是可以记住的、哪些信息是可以输出的。

其独特的

Cell

的值，从而允许梯度在许多时间步内几乎无衰减地流动，这样就解决了

RNN

“基石”，以简单的循环结构开创了历史信息复用的思路，但受限于梯度消失无法处理长序列；LSTM

则通过记忆细胞和门控机制的创新，从梯度传递路径上解决了长期依赖问题，成为长序列任务的经典方案。

RNN

优势：

• 结构简单，参数少；
• 适用于短期依赖序列建模；
• 训练速度快，适合资源受限场景。

RNN

劣势：

• 容易陷入梯度消失/爆炸；
• 长期依赖学习能力弱。

LSTM

优势：

• 通过门控机制保留长期信息；
• 性能更稳定，泛化能力强；
• 适用于文本、语音、金融等长时间序列建模。

LSTM

劣势：

• 参数多，训练成本高；
• 相比

  RNN

  src="https://i-blog.csdnimg.cn/direct/06e8b042648f435cae05435ad439b4db.png">

  下面是一个

  RNN

  LSTM，对比结果如下：

  1. 训练损失曲线：展示模型随训练过程损失的下降趋势。

     LSTM

     收敛更快，且最终损失更低，表明其对序列建模更有效。

  2. 测试集预测结果对比：可视化真实值与两种模型的预测值对比。

     LSTM

     更紧密拟合真实趋势，RNN

     预测波动性较大。

  3. 误差分布图：分析两种模型预测误差的分布范围。

     LSTM

     预测散点图：检查预测值与真实值的一致性。

     LSTM

     点更集中在理想线附近，说明相关性更高。

  alt="在这里插入图片描述"

  src="https://i-blog.csdnimg.cn/direct/2f8ea0ac4c944c2bab72a4f3f017247c.png">

  punctuation">.preprocessing

  punctuation">.utils

  class="token

  punctuation">.random

  class="token

  punctuation">.manual_seed

  class="token

  punctuation">.arange

  class="token

  punctuation">.random

  class="token

  punctuation">.normal

  class="token

  punctuation">(scale

  class="token

  punctuation">.DataFrame

  class="token

  punctuation">.fit_transform

  class="token

  class-name">TimeSeriesDataset

  class="token

  punctuation">(Dataset

  class="token

  punctuation">.seq_length

  punctuation">.seq_length

  function">__getitem__

  class="token

  punctuation">.seq_length

  class="token

  punctuation">.seq_length

  class="token

  punctuation">.FloatTensor

  class="token

  punctuation">.FloatTensor

  class="token

  punctuation">.values

  class="token

  punctuation">:train_size

  class="token

  punctuation">.values

  class="token

  punctuation">[train_size

  punctuation">(train_data

  class="token

  punctuation">(test_data

  class="token

  punctuation">(train_dataset

  class="token

  punctuation">(test_dataset

  class="token

  class-name">RNNModel

  class="token

  punctuation">.Module

  class="token

  punctuation">(RNNModel

  class="token

  punctuation">.__init__

  class="token

  punctuation">(input_size

  class="token

  punctuation">.Linear

  class="token

  punctuation">(hidden_size

  class="token

  punctuation">.unsqueeze

  class="token

  class-name">LSTMModel

  class="token

  punctuation">.Module

  class="token

  punctuation">(LSTMModel

  class="token

  punctuation">.__init__

  class="token

  punctuation">(input_size

  class="token

  punctuation">.Linear

  class="token

  punctuation">(hidden_size

  class="token

  punctuation">.unsqueeze

  class="token

  function">train_model

  class="token

  punctuation">(model

  class="token

  punctuation">.MSELoss

  class="token

  punctuation">.optim

  class="token

  punctuation">(model

  class="token

  punctuation">.parameters

  class="token

  punctuation">(num_epochs

  class="token

  punctuation">.zero_grad

  class="token

  punctuation">(x_batch

  class="token

  punctuation">(output

  class="token

  punctuation">.backward

  class="token

  punctuation">.append

  class="token

  punctuation">(model

  class="token

  punctuation">.no_grad

  class="token

  punctuation">(x_batch

  class="token

  punctuation">.append

  class="token

  punctuation">.append

  class="token

  punctuation">(y_batch

  class="token

  punctuation">.array

  class="token

  punctuation">(predictions

  class="token

  punctuation">.array

  class="token

  punctuation">(actuals

  class="token

  punctuation">(rnn_model

  class="token

  punctuation">(lstm_model

  class="token

  punctuation">(rnn_model

  class="token

  punctuation">(lstm_model

  class="token

  punctuation">.inverse_transform

  class="token

  punctuation">(rnn_preds

  class="token

  punctuation">.reshape

  class="token

  punctuation">.flatten

  class="token

  punctuation">.inverse_transform

  class="token

  punctuation">(lstm_preds

  class="token

  punctuation">.reshape

  class="token

  punctuation">.flatten

  class="token

  punctuation">.inverse_transform

  class="token

  punctuation">(lstm_actuals

  class="token

  punctuation">.reshape

  class="token

  punctuation">.flatten

  class="token

  punctuation">.figure

  class="token

  punctuation">(figsize

  class="token

  punctuation">.subplot

  class="token

  punctuation">(rnn_losses

  class="token

  punctuation">(lstm_losses

  class="token

  string">'mediumseagreen'

  class="token

  punctuation">.title

  class="token

  string">'训练损失随Epoch变化图'

  class="token

  punctuation">.xlabel

  class="token

  punctuation">.ylabel

  class="token

  punctuation">.legend

  class="token

  punctuation">.subplot

  class="token

  punctuation">(actuals_inv

  class="token

  punctuation">(rnn_preds_inv

  class="token

  string">'darkorange'

  class="token

  punctuation">(lstm_preds_inv

  class="token

  string">'dodgerblue'

  class="token

  punctuation">.title

  class="token

  string">'测试集预测结果比较'

  class="token

  punctuation">.xlabel

  class="token

  punctuation">.ylabel

  class="token

  punctuation">.legend

  class="token

  punctuation">.subplot

  class="token

  punctuation">(rnn_error

  class="token

  punctuation">(lstm_error

  class="token

  punctuation">.title

  class="token

  string">'预测误差分布直方图'

  class="token

  punctuation">.xlabel

  class="token

  punctuation">.ylabel

  class="token

  punctuation">.legend

  class="token

  punctuation">.subplot

  class="token

  punctuation">.scatter

  class="token

  punctuation">(actuals_inv

  class="token

  punctuation">.scatter

  class="token

  punctuation">(actuals_inv

  class="token

  punctuation">(actuals_inv

  class="token

  punctuation">.title

  class="token

  punctuation">.xlabel

  class="token

  punctuation">.ylabel

  class="token

  punctuation">.legend

  class="token

  punctuation">.tight_layout

  class="token

  punctuation">)

  GRU（门控循环单元）

  2014

  年，Cho

  相当性能的同时，结构更简单，参数更少，计算效率更高。

  id="_946">模型结构和数据表达

  alt="在这里插入图片描述"

  src="https://i-blog.csdnimg.cn/direct/6d2db80b8d144fafb236020988543bfc.png">

  GRU

  LSTM

  Gate），并且它还合并了记忆单元状态和隐藏状态。

  GRU

  只有两个门：

  1. 更新门（Update

     Gate）：决定了应该在多大程度上保留前一个时间步的信息，以及在多大程度上接收新生成的信息。

     它类似于

     punctuation">)

     start="2">

     重置门（Reset

     Gate）：决定了在计算新的候选隐藏状态时，应该忽略多少过去的信息。

     punctuation">)

     start="3">

     候选隐藏状态与最终隐藏状态：首先，使用重置门计算一个候选隐藏状态

     h̃_t

     src="https://i-blog.csdnimg.cn/direct/8f33fe7d43a6425290e2b4c813ce49b7.png">

     PyTorch

     class-name">SimpleGRU

     class="token

     punctuation">.Module

     class="token

     punctuation">(SimpleGRU

     class="token

     punctuation">.__init__

     class="token

     权重初始化用*0.1避免梯度爆炸，偏置初始化为0（GRU最佳实践）

     更新门（z_t）：融合遗忘门+输入门，控制旧/新信息的保留比例

     self

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.zeros

     class="token

     punctuation">(hidden_dim

     class="token

     重置门（r_t）：控制计算候选状态时，忽略多少过去的隐藏状态

     self

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.zeros

     class="token

     punctuation">(hidden_dim

     class="token

     候选隐藏状态（h̃_t）：生成待融合的新隐藏状态

     self

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.zeros

     class="token

     punctuation">(hidden_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.randn

     class="token

     punctuation">(output_dim

     class="token

     punctuation">.Parameter

     class="token

     punctuation">(torch

     class="token

     punctuation">.zeros

     class="token

     punctuation">(output_dim

     class="token

     punctuation">.hidden_dim

     punctuation">.output_dim

     GRU前向传播（序列级分类：仅用最后一个时间步的隐藏状态输出）

     核心：仅维护隐藏状态h（GRU无细胞状态c，结构比LSTM更简洁）

     z_t

     punctuation">.zeros

     class="token

     punctuation">.hidden_dim

     class="token

     punctuation">(x_seq

     class="token

     punctuation">.shape

     class="token

     punctuation">.unsqueeze

     class="token

     z_t越接近1：越倾向于使用新的候选状态h̃_t；越接近0：越倾向于保留旧状态h_prev

     z_t

     punctuation">.sigmoid

     class="token

     r_t越接近0：越忽略旧状态h_prev，仅用当前输入x_t计算候选状态；越接近1：越保留旧状态

     r_t

     punctuation">.sigmoid

     class="token

     核心：重置门r_t按元素乘h_prev，控制旧状态对候选状态的影响

     h_tilde

     序列级分类：用最后一个时间步的隐藏状态计算输出（和原LSTM/RNN逻辑一致）

     y_final

     punctuation">.log_softmax

     class="token

     punctuation">(y_final

     class="token

     punctuation">(vocab

     class="token

     function">text2onehot

     class="token

     punctuation">.split

     class="token

     punctuation">.zeros

     class="token

     punctuation">(vocab_size

     class="token

     punctuation">[vocab

     class="token

     punctuation">.append

     class="token

     punctuation">(onehot

     class="token

     punctuation">.stack

     class="token

     punctuation">(onehot_seq

     class="token

     punctuation">(input_dim

     class="token

     核心修改：SimpleLSTM→SimpleGRU

     criterion

     punctuation">.NLLLoss

     class="token

     punctuation">(model

     class="token

     punctuation">.parameters

     class="token

     punctuation">(epochs

     class="token

     punctuation">.tensor

     class="token

     punctuation">[label

     class="token

     punctuation">(x_seq

     class="token

     punctuation">.squeeze

     class="token

     punctuation">.reshape

     class="token

     punctuation">(y_pred_reshaped

     class="token

     punctuation">.zero_grad

     class="token

     punctuation">.backward

     class="token

     punctuation">{epoch

     class="token

     punctuation">}

     class="token

     punctuation">{total_loss

     class="token

     punctuation">(train_data

     class="token

     punctuation">}

     class="token

     punctuation">.no_grad

     class="token

     punctuation">(x_seq

     class="token

     punctuation">.squeeze

     class="token

     punctuation">.reshape

     class="token

     punctuation">.argmax

     class="token

     punctuation">(y_pred_reshaped

     class="token

     punctuation">}

     class="token

     punctuation">{emotion

     class="token

     punctuation">}

     class="token

     punctuation">{pred_label

     class="token

     punctuation">}

     class="token

     punctuation">(predict

     class="token

     punctuation">(predict

     class="token

     punctuation">(predict

     class="token

     复杂示例（GRU能正确分类，效果和LSTM相当，结构更简洁）

     punctuation">(predict

     class="token

     punctuation">(predict

     class="token

     punctuation">(predict

     class="token

     只含有两个门控结构，结构更为简单，参数更少，收敛速度更快。

     但因为

     GRU

     的适用场景不同：

     • 长文本或复杂依赖：当数据涉及较长的文本，或任务需要理解复杂的上下文依赖时，LSTM

       的强大记忆能力可以发挥优势。

       例如，处理长篇文章的情感分析、机器翻译等任务。

       例如：我们分析的是一篇长篇博客文章，其中前半部分描述了一个积极的事件，而后半部分充满了负面情感。

       要准确捕捉这种情感转变，LSTM

       可能是更好的选择，因为它能够通过遗忘门和记忆单元，逐步积累并更新情感信息，从而做出更精确的情感判断。

     • 短文本或实时性要求：如果你处理的是短文本，如推特、简短评论，或需模型快速响应，GRU

       通常是更好的选择。

       它的计算效率更高，且在短期依赖场景下表现优异。

       例如：在分析推特或短句子的情感时，GRU的效率优势更加明显。

       GRU能快速处理短文本的情感特征，并及时提供预测结果，这对实时分析推特流的情感趋势尤其重要。

     在某些场景下，可以尝试混合使用

     LSTM

     GRU，取长补短。

     例如：在情感分析任务中，如果希望获得高效且准确的模型，可以考虑使用

     GRU

     处理长篇文本情感。

     通过这种组合方式，可以兼顾速度和准确性，提升整体模型表现。

     另外，除了适用场景之外，在选择

     LSTM

     时，需要考虑以下因素：

     1. 任务复杂度：如果任务需要处理长期依赖关系，LSTM

        的表现也可以达到满意水平。

     2. 计算效率：GRU

        相较于

        具有更少的参数和更简洁的结构，因此在计算效率方面更优。

     3. 数据规模：对于大规模数据，LSTM

        可能更适合，因为它具有更强的表达能力。

        而对于小规模数据，GRU

        的表现也可以达到满意水平。

     至今为止，GRU

     LSTM

     在序列处理场景中的价值已经得到了验证，它们两者各有优缺点。

     理解它们的区别和适用场景，能够帮助你在不同任务中做出更优的选择。

     id="RNN_EncoderDecoder_1143">RNN

     N-N

     仅适用于输入和输出等长的任务。

     但实际中很多任务的序列的长度是不固定的，例如机器翻译中，源语言和目标语言的句子长度是不一样的；再例如对话系统中，问题和答案的句子长度也是不一样的。

     2014

     年，Bengio

     的问题。

     比如：翻译场景中，英文句子长、中文句子短；摘要场景中，原文长、摘要短等等。

     RNN

     Encoder–Decoder

     src="https://i-blog.csdnimg.cn/direct/4cc7781645f04b70b2264cd241c903bf.png">

     Encoder（编码器）：用于编码

     Input

     向量包含了可供计算与学习的、代表句子语言特点和含义的特征信息，是输入的浓缩摘要。

     具体逻辑为：

     1. Encoder

        会对输入句子的每个词进行处理，处理每个词之后会产生一个隐藏状态。

     2. 从输入的第二个词开始，Encoder

        每个时刻的输入都是上一个时间步的隐藏状态和输入的新单词。

     3. Encoder

        输出的最后一个时间步的隐藏状态就是编码了整个句子语义的语义上下文（Context），这是一个固定长度的高维特征向量

        C，输入句子每个时间步的信息都包含在了这个上下文中。

     Decoder（解码器）：用于解码输出序列的信息。

     得到上下文信息向量

     Decoder

     学习到的特征信息再转化为相应的句子。

     具体逻辑为：

     1. 在每个时间步，Decoder

        y_t−1

        的每个预测都受到先前输出词和隐藏状态的微妙影响。

     2. Decoder

        接着用新的隐藏状态和第一个输出词作为联合输入来计算第二个输出词，以此类推，直到解码器产生一个

        EOS（End

        Service，序列结束）标记或者达到预定序列长度的边界。

     隐状状态（Hidden

     state）：定长向量

     src="https://i-blog.csdnimg.cn/direct/c7bcd46cee484daeae9adca28f8aeb64.gif">

     RNN

     Encoder-Decoder

     架构在短句子上有非常好的表现。

     但是一个关键问题在于，Encoder

     会限制

     处理长句子，尤其是那些比训练语料中的句子还长的句子。

     随着输入句子长度的增加，Encoder-Decoder

     alt="在这里插入图片描述"

     src="https://i-blog.csdnimg.cn/direct/33a59b094e5c4a5390921fa072a9d7ec.png">

     RNN

     Seq2Seq

     在

     架构在通用序列任务的适配性，让架构更具泛化性。

     两者虽然有不同的作者，但他们提出了同源的思想和架构。

     后来，Seq2Seq

     Encoder–Decoder

     “Seq2Seq（Encoder–Decoder）模型”。

     id="RNN__1180">RNN

     虽然具有捕捉时序信息、适合序列生成的优点，却有两个难以弥补的缺陷：

     1. 无法并行化：序列依序计算的模式能够很好地模拟时序信息，但限制了计算机并行计算的能力。

        由于序列需要依次输入、依序计算，GPU

        RNN

        为基础架构的模型虽然参数量不算特别大，但计算时间成本却很高；

     2. 超长距离依赖问题：在

        RNN

        需要将整个序列读入内存依次计算，也限制了序列的长度。

        第一个词的隐藏状态信息在经过几十个甚至几百个时间步的传递后，会逐渐衰减甚至丢失。

        虽然

        LSTM

        中通过门机制对此进行了一定优化，但对于较远距离相关关系的捕捉，RNN

        依旧是不如人意的。

     如下图所示，BLEU（Bilingual

     Evaluation

     Understudy）是一种自动评价机器翻译质量的指标，得分一般在

     0~100

     之间。

     得分越高，表示机器翻译结果与参考翻译越接近，质量越好。

     可见

     RNN

     src="https://i-blog.csdnimg.cn/direct/260b010011ef47379d84bda8e8882042.png">