一、Token的定义

Token 是大语言模型处理文本时的最小单位。

模型不会直接识别汉字、英文字母。它处理文本有自己的最小颗粒度，这个颗粒就叫 Token。所有的语义理解、内容生成都建立在 Token 的基础上，不会拆得比 Token 更小。

你可以把它理解为模型 "阅读" 文本时的 "碎片"—— 但这些碎片不一定对应我们日常理解的字或词。

二、Token 主要三点

分词过程

痛点：很多使用者在使用 LLM 时发现输入的中文句子被意外拆成多个碎片，导致生成结果不符合预期。按理说，原因就在于分词器的工作方式。

当你输入一句话时模型会通过一个叫做 Tokenizer 的组件，将文本切分成一个个 token。

• Tokenizer ：是大模型自带的前置工具，相当于 “文本切割器”。话说回来，它有一套固定的分词规则，输入原始文本。输出切好的 Token 序列，是模型处理文本的第一步先。

• 没有分词器。模型就看不懂原始的文字字符串，必须先转成它认识的 Token 格式。

比如「我喜欢猫」可能被切成 三个 token；而英文单词如 "unbelievable" 可能被拆成 三个 token。

这背后是领域通用的 “子词分词” 思路：

• 中文这方面。“喜欢” 是高频常用词，分词器会把它保留为一个 Token，减少序列长度；如果是非常生僻的词，才会拆成单字。
• 从英文来看。"unbelievable" 拆成前缀"un-"词根"believ"后缀"-able"因为英语单词总量太多，如果每个整词都做一个 Token，词表会爆炸。拆成语义子单元后既能覆盖几乎所有英文单词。又能控制词表大小，还能让模型捕捉到词根/前缀/后缀的规律。

向量化

痛点：很多开发者对“向量”感到陌生，不知道为什么一样长度的句子计算成本差别很大。其实主要在于向量化过程，不过，

模型会将每个 token 转换成一个高维向量。所有计算都是在这些向量上进行的。

• 高维向量: 计算机只能处理数字。每个 Token 都会被转换成几千个数字组成的数组，这串数字里编码了该 Token 的语义、语法、情感等信息。
  • 语义相近的词，向量距离就近。比如 “猫” 与 “狗” 的向量相似度很高，而 “猫” 与 “桌子” 的相似度则很低。
• 、: Transformer 架构里的两个主要计算模块。模型对语义和推理逻辑的全部运算。都在这些向量上完成，不会直接操作文字本身。

计费单位

This explains *** large‑model APIs charge per token – both input and output token counts directly determine amount of computation.

• 每一个 Token 都要走完整的一轮向量计算流程。Token 越多 GPU 运算越多，硬件成本随之提高。
• 计费时同时统计输入 Token 和输出 Token 两者相加即为本次请求消耗。

三、上下文长度限制