度爆炸深度学习——前向传播与反向传播、神经网络前馈神经网络与反馈神经网络、常见算法概要汇总万字长文解读深度学习——卷积神经网络CNN万字长文解读深度学习——循环神经网络RNN、LSTM、GRU、Bi-RNN万字长文解读深度学习——Transformer万字长文解读深度学习——GPT、BERT、T5万字长文解读深度学习——ViT、ViLT、DiT万字长文解读深度学习——CLIP、BLIP万字长文解读深度学习——AE、VAE万字长文解读深度学习——GAN万字长文解读深度学习——训练、优化、部署细节

推荐阅读

词袋模型最简单的方法。

它将文本表示为一个词频向量不考虑词语的顺序或上下文关系只统计每个词在文本中出现的频率。

工作原理

构建词汇表对整个语料库中的所有词汇建立一个词汇表也称为词典。

每个文档中的每个词都与词汇表中的一个位置对应。

生成词频向量对于每个文本文档生成一个与词汇表长度相同的向量。

向量中每个元素表示该词在文档中出现的次数或者是否出现用二进制表示。

假设有两个句子

忽略词序词袋模型无法捕捉词语的顺序因此在语义表达上有局限。

高维稀疏对于大词汇表词袋模型会生成非常长的特征向量大多数元素为

“***”、“and”

等可能在各类文档中频繁出现但对语义贡献较少词袋模型会受到这些高频词的影响降低模型的效果。

1.2

是对词袋模型的改进它为词语赋予不同的权重来衡量每个词在文档中的重要性。

与词袋模型相比TF-IDF

不仅考虑词频还考虑词的普遍性以避免常见词如***、“and”的影响。

工作原理

更准确地反映词的重要性避免了词袋模型中常见词占主导地位的情况。

尤其适用于文本分类任务。

稀疏矩阵虽然词频的权重经过调整但词汇表的大小仍然很大容易产生稀疏矩阵问题。

忽略词序仍然无法捕捉词语之间的顺序和上下文关系。

1.3

BM25对TF和IDF进行加权同时考虑文档长度对相关性的影响使得对较短和较长文档的评分更加合理。

BM25

来衡量词的普遍性。

然而这种计算方式可能会导致在某些极端情况下如

df(t)

计算保证在极端情况下的稳定性。

查询词频考虑在评分中更合理地衡量查询中词频的影响提高了对复杂查询的检索效果。

1.4

模型是一种基于词袋模型的扩展方法它通过将词组作为特征来捕捉词语的顺序信息。

工作原理

时模型不仅关注单个词还捕捉到词与词之间的顺序和依赖关系。

例如2-Gram

对于句子“猫

值越大特征向量的维度会急剧增加容易导致稀疏矩阵和计算复杂度升高。

对长文本N-Gram

词向量Word

中的关键特征提取方法能够捕捉词语的语义信息。

常见的词向量方法包括

Word2Vec、GloVe、和

FastText。

词向量的核心思想是将每个词表示为一个低维的、密集的向量词向量之间的相似性能够反映词语的语义相似性。

2.1

Words根据上下文中的词语来预测中心词。

模型输入是上下文词语输出是预测的中心词。

Skip-gram与

CBOW

OOV未登录词如果测试集中出现了训练集中未见过的词Word2Vec

2.2

可以捕捉到词语内部的形态信息尤其对拼写错误或未登录词有较好的处理能力。

OOV未登录词因为

基于子词生成词向量它能够为未见过的词生成向量表示。

考虑词形信息能够捕捉词的形态变化例如词根、前缀、后缀等。

计算复杂度较高相比

同时从词语的前后上下文学习词的表示而不像传统的模型只从前向或后向学习。

这样BERT

遮蔽语言模型Masked

会随机遮蔽部分词语并要求模型预测这些词从而让模型学到上下文的双向依赖关系。

下一句预测Next

Sentence

要预测两句话是否是连续的句子对这让模型能够学习句子级别的关系。

上下文相关词向量BERT

在问答、阅读理解、文本分类等任务中表现非常好能够捕捉到复杂的语义关系。

计算资源需求大BERT

模型预训练和微调都需要大量的计算资源训练时间较长。

较慢的推理速度由于模型较大在实际应用中推理速度较慢尤其在实时任务中。

BERT详细参考https://lichuachua.blog.csdn.net/article/details/142980441

方法工作原理优点缺点适用场景词袋模型BOW将文本表示为词频向量不考虑词序和上下文。

简单直观易实现能够有效表示词频信息。

忽略词序生成高维稀疏向量。

文本分类、信息检索TF-IDF基于词袋模型考虑词在文档中的频率以及整个语料库中的普遍性赋予不同词权重。

反映词的重要性避免常见词主导影响适用于文本分类。

生成稀疏矩阵无法捕捉词序和上下文关系。

文本分类、关键词提取BM25基于

TF-IDF

的改进考虑词频、文档长度、词重要性等因素以计算每个词对文档匹配的相关性得分。

非线性词频缩放、

计算更好地反映词在文档中的相关性更适合信息检索适用于长文档计算匹配更准确。

对参数敏感适用性依赖于超参数调优不能捕捉上下文关系。

信息检索、文档排名N-Gram捕捉连续

越大捕捉的上下文信息越多。

维度膨胀计算资源消耗大。

语言模型、短文本分类Word2Vec使用浅层神经网络学习词向量有

CBOW

两种架构。

词向量能捕捉语义相似性生成低维稠密向量效率高。

无法处理未登录词OOV词向量上下文无关。

词嵌入、相似度计算、文本分类FastText将词分解为字符

n-gram生成词向量捕捉词的形态信息。

能处理未登录词捕捉词形信息适合拼写错误和变形词。

计算复杂度高于

Masked

Prediction。

生成上下文相关词向量语义理解强适用于复杂

NLP

任务。

需要大量计算资源训练和推理时间长。

问答系统、文本分类、阅读理解

传统方法如词袋模型、TF-IDF

通过词嵌入表示词语的语义关系适合语义相似度计算、文本分类等任务。

FastText

BERT能够生成上下文相关的动态词向量适用于更复杂的自然语言处理任务但对计算资源的要求更高。

RNN

Network是一种用于处理序列数据等具有顺序关系的数据的神经网络。

与传统的前馈神经网络不同RNN

具有循环连接

允许信息通过隐藏状态在序列的不同时间步之间传播。

这种结构使得RNN非常适合处理时间序列、文本数据、语音信号等具有顺序关系的数据。

RNN

Function指导模型参数更新的依据非可学习参数。

学习率Learning

RNN

可以处理不同长度的输入序列这是由于其内部结构允许将前一步的信息作为当前步的输入之一。

隐藏状态RNN

具有隐藏状态隐藏状态是前一个时间步的信息的压缩并与当前输入一起决定下一时间步的输出。

权重共享RNN

W_{hh}

梯度消失与爆炸问题在长序列处理中由于反向传播算法在计算梯度时RNN

容易出现梯度消失gradient

exploding的现象导致模型难以学习长期依赖关系。

长时间依赖问题RNN

处理长序列时无法有效捕捉到前后相距较远的依赖关系导致模型的性能下降。

并行化困难由于

RNN

是逐时间步处理序列的因此不容易并行化处理这使得其训练时间较长。

RNN

中当前时间步的输出不仅依赖于当前输入还依赖于之前时间步的隐状态hidden

RNN

中的一个内部存储器它能够保存之前的时间步的信息使得网络具备记忆能力。

RNN

隐状态更新

逐个时间步执行前向传播将输入数据逐步传递到隐藏层计算每个时间步的隐藏状态和输出上面的核心计算。

初始化隐藏状态在时间步

的反向传播主要通过**反向传播通过时间Backpropagation

Through

在长时间序列上可能出现梯度消失或爆炸问题尤其是当梯度逐步传递时这限制了

RNN

Why​完成当前批次的训练。

继续执行下一个批次的训练直至完成所有训练数据的迭代。

RNN

的推理inference过程与训练过程中的前向传播类似但没有反向传播和参数更新主要是用于生成输出或进行预测。

输入准备

X[x1​,x2​,...,xT​]。

不需要提供标签数据因为推理阶段是无监督的RNN

前向传播

的参数初始化策略会影响训练过程的稳定性和收敛速度以下是不同参数的初始化方法概述

参数初始化方法适用场景输入权重

初始化、标准正态分布用于将输入映射到隐藏状态适合不同激活函数场景隐藏状态权重

W_{hh}

)零初始化、小随机数、遗忘门的偏置可初始化为较大正值LSTM/GRU偏置项通常为零初始化特殊情况下设定固定值

RNN

State贯穿整个序列的数据流【图中的C】能够存储序列中的重要信息允许网络长时间保留重要的信息。

隐藏状态Hidden

通过它来决定当前的输出和对下一时间步的传递信息。

【RNN中就有】三个门控机制Forget

Gate、Input

可以选择性地遗忘、存储、或者输出信息具体在图中的结构参考下面具体介绍。

LSTM

中最重要的概念是记忆单元状态和门控机制它们帮助网络在长时间序列中保留重要的历史信息。

LSTM

中隐藏状态是对当前时间步的即时记忆短期记忆而记忆单元是对整个序列中长期信息的存储长期记忆。

遗忘门Forget

Gate根据当前输入和前一个时间步的隐藏状态决定记忆单元哪些信息需要被遗忘输入门Input

Gate根据当前输入和前一时间步的隐藏状态决定当前时间步输入对记忆单元的影响输出门Output

Gate根据当前的输入和前一时间步的隐藏状态以及记忆单元状态决定当前时间步隐藏状态的输出/影响输出内容是从记忆单元中提取的信息

LSTM

遗忘门的作用它根据当前输入和前一个时间步的隐藏状态选择哪些来自过去的记忆单元信息需要被遗忘。

(2)

根据遗忘门和输入门的输出保留了来自过去的长期信息使得重要的历史信息能够长时间存储。

(4)

输出门的作用输出门根据当前的输入和前一时间步的隐藏状态以及记忆单元状态决定当前的隐藏状态

h_t

遗忘门根据当前输入和前一个时间步的隐藏状态控制哪些来自上一个时间步的记忆单元信息需要被保留或遗忘。

输入门根据当前输入和前一时间步的隐藏状态决定当前输入信息是否更新到记忆单元中通过候选记忆生成新的信息。

记忆单元状态更新根据遗忘门和输入门的输出更新当前时间步的记忆单元状态

C_t

)。

输出门根据当前的输入和记忆单元状态控制当前时间步的隐藏状态

h_t

通过引入门控机制可以选择性地控制信息的流动记忆单元可以有效地保留长期信息避免了传统

RNN

能够同时处理短期和长期的依赖关系尤其在需要保留较长时间跨度信息的任务中表现优异。

LSTM

的门控机制使得它的结构复杂训练时间较长需要更多的计算资源尤其是在处理大规模数据时。

依赖于序列数据的时间步信息必须按顺序处理每个时间步难以并行化处理序列数据。

GRUGated

中的遗忘门和输入门变为一个更新门来实现。

没有单独的记忆单元状态GRU

LSTM

中隐藏状态既用于存储当前时间步的信息也用于在时间步之间传递长期信息。

这种简化使得

这两个门决定了每个时间步的信息如何被保留、更新或丢弃。

通过这两个门GRU

GRU

控制着当前时间步的隐藏状态与前一时间步的隐藏状态之间的融合。

它决定了多少旧的信息

h_{t-1}

中隐藏状态既负责短期信息的存储也负责长期信息的传递。

无法更好地分离短期和长期信息。

GRU

个门输入门、遗忘门、输出门记忆状态没有单独的记忆单元状态只有隐藏状态有记忆单元状态和隐藏状态结构复杂性结构较简单参数较少结构复杂参数较多处理长依赖表现较好能捕捉长期依赖更适合处理复杂的长时间依赖计算效率相对较高训练时间更快计算开销较大训练时间较长

LSTM

GRU。

序列较长或依赖关系复杂时在处理较长序列或有复杂长期依赖关系的任务时LSTM

LSTM

能够更灵活地通过记忆单元状态存储和传递长期信息。

计算资源有限时如果对计算资源或训练时间有较高要求GRU

Bi-RNN

通过引入双向信息流使网络能够同时考虑从左到右前向和从右到左后向的信息流动。

计算每个时间步的输出时Bi-RNN

不仅考虑当前时间步之前的信息还考虑之后的信息从而提升了模型对时间序列依赖的捕捉能力。

Bi-RNN

层分别处理序列的正向和反向信息流然后将它们的输出进行组合生成最终的输出。

Bi-RNN

从序列的第一个时间步开始逐步处理输入序列并生成每个时间步的前向隐藏状态

\overrightarrow{h_t}

从序列的最后一个时间步开始逐步反向处理输入序列并生成每个时间步的后向隐藏状态

\overleftarrow{h_t}

能够同时利用序列的前后信息因此在处理像语音、文本等需要上下文信息的任务中表现更好。

适合全局依赖任务Bi-RNN

通过从两个方向处理数据可以捕捉到更全局的依赖关系。

双倍计算量由于需要处理两个方向的序列因此计算复杂度比单向

RNN

特性RNNLSTMGRUBi-RNN结构单向循环结构只有隐藏状态有记忆单元状态和隐藏状态三门控制信息流只有隐藏状态合并了输入门和遗忘门双向结构有前向和后向两个独立的

RNN记忆能力适合处理短期依赖长序列时有梯度消失问题能有效处理长时依赖解决梯度消失问题简化的版本参数更少能处理长短期依赖能同时捕捉序列的前后信息适合上下文相关任务门机制无门控机制有输入门、遗忘门和输出门有更新门和重置门控制信息的保留和更新没有门机制双向结构通过前向和后向的组合增强计算复杂度低参数少计算速度快复杂度较高三门结构增加计算量相对简单参数和计算量比

LSTM

少计算量大需两次遍历输入序列较高开销优点结构简单适合短序列建模能捕捉长短期依赖解决梯度消失问题训练效率高能捕捉长短期依赖能同时利用历史和未来信息捕捉前后文依赖缺点难以捕捉长时间依赖容易梯度消失或爆炸训练时间较长计算资源需求大虽然简化了结构但对复杂依赖建模较弱需要双向处理实时性差计算开销大适用场景短期时间序列预测、简单的文本处理任务长时间序列任务如机器翻译、文本生成适合资源受限、需要较快训练的任务自然语言处理、语音识别、视频分析等上下文任务应用示例基本序列预测、时间序列分类机器翻译、语言模型、文本分类、对话系统语音识别、时间序列预测、情感分析命名实体识别、语义角色标注、情感分类、语音识别

RNN适合处理短期依赖的简单任务结构较为简单但在处理长序列时容易出现梯度消失问题。

LSTM通过记忆单元和门控机制解决了梯度消失问题擅长处理长时依赖任务适合复杂的时间序列建模。

GRULSTM

的简化版本具有较少的参数和更高的计算效率适合在需要较快训练的任务中使用性能上通常与

LSTM

相当。

Bi-RNN双向结构能够同时捕捉序列中的前向和后向信息非常适合自然语言处理和语音处理等需要利用上下文信息的任务。

这些网络结构都是处理序列数据的基础工具选择哪一种网络通常取决于任务的复杂性和计算资源。

全连接层Fully

Layer广泛应用于分类任务或回归任务的最后阶段。

全连接层的主要作用是将上层提取的特征转换为具体的决策结果或输出。

它在不同类型的神经网络模型中具有不同的作用。

以下是全连接层在各类神经网络模型中的作用详细解释

在MLP中全连接层是主要计算单元完成输入到输出的映射。

在CNN中全连接层主要用于整合局部特征并生成分类结果。

在RNN和LSTM中全连接层将时间序列特征映射为输出结果。

在Transformer模型中全连接层参与注意力机制和输出映射。

在GAN中全连接层用于潜在空间和图像特征之间的映射。

在自编码器中全连接层用于特征压缩和重构。

在注意力机制中全连接层用于计算注意力得分并变换上下文向量。

无论在哪种神经网络中全连接层的核心作用都是将前一层的特征进一步映射到目标空间形成最后的输出或决策。