其实，

前言

2023年以来ChatGPT、GPT‑4、Claude、Llama 等名字频繁出现在我们的视野中。其实，它们能写代码、翻译文档、创作故事，甚至。

但如果你以为大语言模型是某一天突然从实验室里“蹦”出来的，那就错过了一个持续四十多年的精彩故事。从概率统计到神经网络，从循环结构到。这条路是一代代研究者不断发现问题、提出方案、再发现新问题的迭代过程。

”还有“它为什么这么强”有一个结构化的理解。

一、语言的概率游戏：统计语言模型与N‑gram

语言模型到底在做什么？

想象一个日常场景：你在手机上打字，输入法自动给出下一个词的候选。你输入“今天天气真”，它提示“好”“热”“冷”。这个自动补全的背后就是一个语言模型在工作。

严谨地说语言模型的主要任务很简单：计算一个词序列出现的概率。好的语言模型能判断“今天天气真好”比“今天天气真火车”更合理——因为前者在人类日常表达中更可能发生。

链式法则与它的困境

从数学角度看。计算一个句子 S = w₁,w₂,…,wₘ 的概率，可以写成：

P = P × P × P × …× P

这被称为概率的链式法则。逻辑上完全正确，但实际计算时灾难来了：当句子变长。P 这样的条件概率几乎无法从任何语料库中可靠地估计——因为这串词很可能从未在训练数据中出现过。

N‑gram 的便宜之计：只看眼前

N‑gram 模型通过马尔可夫假设把每个词只与其前面有限个词相关。 从而简化了条件概率：

• Bigrams : 只参考前1个词，例如 P。
• Tri‑grams : 参考前2个词。
• 以此类推。

N‑gram 就像戴上了一个“视野受限”的眼罩——不去看整个句子的历史，只看最近几个词。这种朴素想法在很长一段时间内是主流方案，但它有两个致命缺陷：

• 数据稀疏: 一个特定组合从未出现过则其概率被置为0；这导致模型无法泛化到新的上下文。其实，
• 不懂语义: 模型将每个词视为独立编号。忽略了同义词和近义词之间的关系。例如“agent learns”和“robot learns”被视作完全不同，却没有捕捉到它们共享语义特征。

使用者痛点：  如果你正在建立自己的文本生成程序。你可能会发现 N‑gram 在处理长文本时表现糟糕，而且需要手动填补大量缺失组合；而且因为语料库增长，存储需求指数级膨胀，这让你望而却步。

二、给词画一张地图：神经网络与

从符号到向量

Bengio 等人在 2003 年提出用连续向量表示每个单词，即Word Embedding

1. Create Semantic Space: 把每个单词映射到高维向量空间中的一点。该点即为该单词在多维空间中的坐标。
2. "Near means similar": 在此空间里相近意义的单词距离更近。例如“猫”“狗”“宠物”等会聚集在一起。

This transforms a word from an isolated token into a point on a semantic map.

"King – Man + Woman ≈ Queen" 的魔力

vector - vector + vector ≈ vector

This property emerges automatically during training for next-word prediction—no manual tweaking required.

• 从痛点一来看。
如果你想让你的程序能理解同义替换，你会发现传统 N‑gram 无法做到，而使用 Word Embedding 后你只需通过余弦相似度判断两字是否相近即可，实现更自然流畅输出。

三、给模型装上记忆：RNN 与 LSTM

"小明三年前在北京买了一本书，去年他在上海的一家咖啡店里重读了**它**。" 为了解决指代，需要回溯整段文本。而 N‑gram 或 Feed-forward 网络只能看到固定窗口内的信息。