大模型通常拥有更强的理解和生成能力，但其庞大的往往导致推理延迟升高、部署成本飙升。特别是当你需要把模型放进手机、浏览器或资源有限的服务器时真正落地变得异常困难。

如果你已经有一个效果不错但无法部署到目标设备的大模型。是否想过让它当老师，把已学知识教给一个更小、更轻量的学生模型？这正是知识蒸馏要解决的问题。

为什么叫“蒸馏”

在化学中，蒸馏利用成分挥发性的差异将混合物中的目标成分提取出来。知识蒸馏借用了这个概念：从大模型中提炼出可迁移的知识，让小模型获得同等判断能力。

• 教师模型能力更强、结构更大的模型。
• 学生模型需要学习的小型模型。
• 蒸馏过程学生模仿教师训练过程。

只学习标准答案为何不够

以图片分类为例。硬标签只告诉我们“猫”，却忽略了：

• 图像与猫的相似度有多高？
• 为什么容易被误判为狗？
• 猫与老虎之间是否存在视觉关联？说起来，
• 汽车几乎不可能是答案。这种信息是否被利用，

这些有价值的类别关系被硬标签完全丢失，导致学生缺乏对决策边界的细致理解。

软标签提供了什么信息

教师模型输出的是一组概率分布，而非单一答案。这些分布说明了：

• Cats vs Dogs vs Tigers vs Cars: