Embedding：AI 理解语义的唯一入口

在前面的四篇文章中我们已经了解了 Transformer 的整体架构、Attention 机制、Token 切分还有 Context Window 的大小。这一篇回到最根本的层面——每个 Token 在进入 Transformer 之前。都必须先被映射为一个高维向量，这个向量就是 Embedding。

使用者痛点：很多开发者在实际项目中常常感到困惑：“模型到底是怎么‘理解’‘苹果’和‘香蕉’的差别？”“为什么同一个词在不同句子里表现完全不同？”

Embedding 不是查字典，而是“学”出来的

每个 Token会被分配一个固定长度的向量。该向量由一串浮点数组成：

"苹果" → // 1536 个数字

关键点：这些数字不是人工设定的，而是在大规模语料上通过反向传播“学”出来的。

• 初始状态：所有 Token 的向量都是随机初始化。
• 训练过程：模型不断看到类似 “我今天吃了一个苹果” 与 “我今天吃了一个香蕉” 的句子。由于两者出现在相同的上下文中，会把 “苹果” 与 “香蕉” 的向量逐渐拉近。
• 训练结束：语义相近的词拥有相似的向量，这些向量成为模型理解词义的基石。

词向量的主要特性：语义关系 = 向量空间几何关系

Embedding 并不是对词进行分类，而是把词之间的关系编码为几何关系。

类比推理示例

vec - vec + vec ≈ vec

在高维空间里“国王”减去“男人”相当于去掉男性属性，只剩下皇室身份；再加上“女人”的女性属性，就得到接近 “女王”。模型并未显式学习王位继承规则，它只是从大量文本中观察到这些配对出现频率。从而形成了这种规律性的几何结构。

时态变换示例

vec - vec ≈ vec - vec

"walking" 与 "walk" 的差异向量指向“进行时”，而一样方向也出现在 "running" 与 "run" 之间。模型通过海量文本自动捕获了这种语法模式。

再看从词到句子，上下文如何重塑 Embedding？

Embedding 只是入口。每个 Token 的初始向量会经过多层 Transformer后变成Contextualized Embedding或 Hidden State。

// Token "苹果" 的演化方法
原始 Embedding → Attention Layer → 融入相邻词信息
→ 多层堆叠 → 融入句法结构
→ 最终上下文向量 → 包含“当前语境下 苹果 是谁/在哪/干什么”

使用者痛点：很多人发现同一个词在不同任务中的表现差异巨大，却不明白原因所在。同一个原始 Embedding 在不同上下文驱动下会落在完全不同的向量区域：

• "削了一个苹果" → 靠近水果相关聚类。
• "苹果发布了新手机" → 靠近科技公司相关聚类。
• "苹果肌下垂了" → 靠近美容护肤相关聚类。

Embedding 的根本限制：没有上下文就没有正确语义

静态 Embedding 本质上是每个词的“画像”，但它无法区分多义词。这正是 Transformer 中 Attention 层发挥作用的地方。

多义词案例——中文 “意思”：

"这个东西很有意思" → 意思 = interesting
"一点小意思，不成敬意" → 意思 = gift
"你到底什么意思？" → 意思 = intention

这三个句子里“意思”的原始 Embedding 完全相同。只有经过后根据周围词汇才会产生对应的上下文化嵌入。其实，Embedding 是第一层理解。真正的语义需要 Transformer 层层重塑。

从余弦相似度来看，衡量两个向量“有多像”的标准方法

在高维空间里我们使用 余弦相似度 来衡量两个向量之间的相似程度。而非欧氏距离：

// 余弦相似度公式
cosine_similarity = /

• = 1: 完全同方向。按理说，
• = 0: 正交方向。不过，
• = -1: 完全相反方向。

为什么不用欧氏距离？按理说，

• 在数千维空间中。欧氏距离容易被向量长度主导——高频词往往拥有更大的模长，却不代表它们更相关。话说回来，
• 余弦相似度只关注方向。从而更准确地反映语义相似性。

Embedding 如何成为 RAG的基石？

User Pain Point：在实际业务中，经常遇到“大模型幻觉”“答案不可靠”等问题。RAG 正是当前降低幻觉、提高答案准确性的有效手段，而它背后的关键桥梁正是 Embedding。

1. K 步骤一：把所有知识库文本转成固定长度的 Embedding 向量，并存入 Vector DB。
2. K 步骤二：User 提问 → 一样使用 Embedding 模型转为查询向量。老实说，
3. K 步骤三：在 Vector DB 中检索与查询向量余弦相似度最高的 K 条段落。
4. K 步骤四：K 条段落作为 Prompt 塞入 LLM，LLM 基于检索结果生成答案。

This pipeline shows that **any** text—文档、代码、API 文档甚至聊天记录—都可以压缩为统一长度的向量。在同一空间里完成比较和检索，实现跨语言、跨领域的一致搜索体验。话说回来，

Embedding 模型 ≠ LLM 模型：两种目标。两套程序

User Pain Point：L​LM 开发者常误以为同一模型既能做检索又能生成文本，导致性能瓶颈和成本浪费。至于两者各司其职，

L​LM 模型

模型类型 & 目标	主要任务
Embedding 模型	- 将文本映射为语义相似即距离近 - 使用对比学习让相似文本靠近。不相似远离
- 下一个最合理 token - 主攻自然语言生成与推理

The typical production RAG flow is:

// 简化流程图
使用者提问
↓
问题转成向量
↓
返回 K 条相关段落
↓
LLM 基于检索结果生成答案
↓ 输出给使用者

一句话 🎯

A​dding embedding turns raw tokens into high‑dimensional vectors;similarity becomes geometric distance;context reshapes se vectors;and toger y power modern retrieval‑augmented generation.

---

下一篇将

---