文章导读Ru果不理解这三大架构，就无法真正kan懂现代 AI 的技术演进。本文将带你攻克深度学习的三座大山：

从全连接到专业化

在上一讲中，我们学习了全连接神经网络。虽然理论上它Ke以拟合任何函数，但在处理复杂数据时它面临两个巨大挑战：

参数爆炸：每个输入节点dou与下一层所有节点相连，导致参数数量剧增。

缺乏结构先验：全连接网络没有利用数据的结构信息，比如图像的空间相关性或文本的时间顺序。

CNN：视觉的“局部感知”专家

CNN是计算机视觉领域的绝对霸主。它的核心思想是：与其盯着每一个像素，不如寻找局部的特征。

想象你在黑暗中用手电筒kan一幅巨大的壁画。你无法一眼kan清全貌，只Neng拿着手电筒在壁画上从左到右、从上到下地扫描。每次手电筒照亮的一小块区域，就是感受野。你在这个区域里寻找特定的图案，Ru果找到了就记录下来。

卷积核本质上是一个小的权重矩阵。它在图像上滑动，每次覆盖3x3的像素区域，将像素值与卷积核的权重Zuo点积。

这个操作的结果反映了该区域与卷积核特征的匹配程度。

当你在kan一张高清大图时为了kan清轮廓，你可Neng会眯起眼睛，或者把图片缩小。这就是池化。池化层的作用是降维和保留主要特征。

经典的CNN架构通常是这样的“三明治”结构：

输入层

卷积层——“特征提取器”

激活层——“非线性开关”

池化层——“信息压缩机”

全连接层——“分类器”

RNN：时间序列的“记忆大师”

Ru果说CNN是“kan”图片的专家，那么RNN就是“读”文章的高手。

人类阅读文章时对当前词语的理解是依赖于上下文的。比如：“我到达了苹果...”，这里的“苹果”是指水果还是手机？Ru果后面接“...园，摘了一个吃”，那就是水果；Ru果接“...总部，购买了新手机”，那就是科技公司。传统的全连接网络无法处理这种变长的、有前后依赖关系的序列数据。

RNN的天才之处在于引入了隐状态，你Ke以把它理解为记忆。

RNN处理序列数据是按时间步进行的：每一个时刻的输出，dou不仅取决于当前的输入，还取决于之前的记忆。这就好比你读书时脑海里始终保留着前文的印象。

虽然RNN理论上Neng记忆无限长的序列，但在实际训练中，它面临梯度消失和梯度爆炸的问题。简单说就是记不住太久以前的事情。就像读一本hen长的小说读到Zui后几章时Yi经忘了第一章的主角叫什么名字了。

为了解决这个问题，后来诞生了LSTM和GRU。它们通过引入精妙的门控机制，主动选择该记住什么、该忘掉什么大大延长了记忆的持续时间。

尽管LSTM改进了RNN，但它依然有一个致命弱点：无法并行计算。RNN必须读完第一个词才Neng读第二个词，这导致训练速度极慢，无法利用大规模GPU集群。而且，对于特别长的序列，LSTM的记忆Neng力依然有限。

Transformer：序列建模的“万Neng钥匙”

2017年，Google团队发表了划时代的论文《Attention Is All You Need》，提出了Transformer架构，彻底改变了NLP乃至整个AI领域的格局。

虽然自注意力机制是核心，但要让它真正工作起来还需要一个完整的身体架构。下图展示了Transformer的经典架构。

这里是数据进入模型的第一个关卡。在进入模型之前，其实还有一个隐含的步骤：分词。

Tokenization

Embedding

Positional Encoding

左边的蓝色方块是Encoder，它的任务是“深刻理解”输入的内容。

Multi-Head Attention

Add & Norm

Feed Forward

右边的橙色方块是Decoder，它的任务是根据Encoder的理解，生成新的内容。

Inputs

Masked Multi-Head Attention

Cross Attention

Transformer抛弃了循环和卷积，完全依赖注意力机制。

在嘈杂的鸡尾酒会上，你的耳朵Neng接收到所有人的声音，但你的大脑会自动聚焦在和你聊天的那个人身上，通过上下文理解他的话，同时忽略背景噪音。

Transformer将注意力机制形式化为Query, Key, Value的操作。这hen像在图书馆找书或数据库查询：

计算过程：

通过这种方式，TransformerKe以一次性kan到整句话的所有词，并计算出每个词与其他所有词的关联程度。比如在“银行里的钱”这句话中，“银行”会特别关注“钱”这个词，从而确定自己是“金融机构”而不是“河岸”。

这就是为什么TransformerNeng理解上下文：它把上下文的信息“加”到了当前词的向量里。

这里我们Ke以跳过通俗的比喻，直接kan数据流和矩阵变换。这才是Transformer的灵魂所在。

假设我们有一个输入序列，每个词Yi经Embedding为一个向量。输入矩阵的维度是。

Transformer内部维护了三个可训练的权重矩阵：。我们将输入分别乘以这三个矩阵，得到查询、键、值三个新矩阵。

计算Q和K的转置矩阵的乘积。

公式：

维度变化： * ->

物理意义：得到一个seq_len * seq_len的方阵。矩阵中第i行第j列的值，代表第i个词和第j个词的相关性分数。

将分数除以。

对每一行进行Softmax操作。

用算出的概率去加权Value矩阵。

Zui终结果：生成的矩阵维度与一致。

为了彻底理解，我们用Zui基础的NumPy来还原这个过程：

---