先说个事儿，大模型居然不会数数!我刚听说的时候差点笑掉大牙。很多人以为只要把 tokenizer 换好， 模型马上就能像小学生一样把“27个波浪号”给数出来后来啊呢？根本不行，这就说得通了。。

一、到底是啥子原因？——别光怪 tokenizer！

最近， 我才知道:大模型居然不会数数!.而我们为什么称之为 类LC ,原因就在于,其中的公理一和公理二是所有模型都会遵守的,但公理三因场景不同,大...，薅羊毛。

其实谷歌那篇论文直接点破：问题根源在嵌入维度不足不是 token 化。

1）嵌入维度 d 必须比词汇量 m 大才能保持正交性

嵌入维度 d 的取值范围为 8 到 128；当 m 超过 d 时 向量已经压不下每个词的正交向量会相互“挤”， 大胆一点... 计数时叠加出错。也就是说"长度非主要因素，词汇表中数量是关键"。

2）计数需要一个随序列长度 n 线性增长的 “逆转 MLP” 层

Transformer 要实现计数， 可以通过来实现，但需要一个随序列长度 n 线性增长的大型 "逆转 MLP" 层。这个层要算 1/x 函数，可是任何常数层 ReLU 网络都做不到 o 的神经元数量下逼近 1/x，太硬核了。。

二、实验怎么说话——数据摆在这儿，你自己看吧！

实验一：

• 从头训练的 Transformer
• d 从 8 到 128 随意调
• 词汇量 m 从 5 到 150， 每个 m 测试 20 次
• 序列长度 n = 10·m
• M_thr 表示计数准确率跌到80%时的临界词汇量

实验二：

• Pretained Gemini 1.5 同样跑同样的计数组合
• "Binary Baseline"作对照
• LSTM、CNN 都没参加，主要原因是作者只想看 transformer 的极限

后来啊显示：

后来啊显示，对于计数和找出最高频词的任务，m_thr 都随嵌入维度 d 的增大而近似线性增长。不过作者也表示， 虽然这项研究一定程度上划定了大模型计数能力的上下界，但这些界限还不够紧致，距离理想的后来啊还有一定差距，胡诌。。

三、从数字到文字——怎么玩儿才会翻车？

任何人都可以立刻试验一下：生成一个27个波浪号的字符串， 然后问大模型"这里有多少个波浪号?"你会看到它要么报28， 这就说得通了。 要么报26，还可能直接说"我不知道"。这就是最直观的翻车现场。

再进一步，让它找出出现频率最高的单词，更是难如登天。即便它能蒙对具体数量，那也是运气好，一般都会错，太硬核了。。

# 小技巧：硬塞 Tokenizer 能不能救急？

总结一下。 有人认为是词汇的 token 化导致了大模型看到的 "词" 和我们的看法不一致， 但论文表明，实际情况并不是这么简单。换句话说只改进分词器根本解决不了根本问题——空间不够用。

四、为什么我们仍然爱用这些“大模型”呢？

总的来说... 主要原因是它们在奥赛题、代码生成、长文本写作上真的很牛逼。但一提到最基础的小学数学——比如“这句话有几个字？”它们就开始胡说八道。比如有人测试 GPT‑4o 时它竟然回答“知识就是力量”这句话包含4个字！。

五、后续展望——还能靠什么办法提升计数能力？

• d 增大：bigger embedding dimension is simplest 娱乐.
• MLP 深化：Add a linear‑size “inverse MLP” layer after attention.
• Sparse Embedding：Aim for orthogonal vectors without blowing up d.
• Circuit‑style Counting：E.g., integrate explicit counters into architecture .
• Lattice Tokenization：If you can make each token correspond to a unique prime number n multiplication of primes can encode counts – but that’s crazy hard.

仅靠改进 tokenizer 是远远不够的。想让 上动手脚，否则它永远只能在语言表面玩花样，而不是掌握数学底层规则。

六、参考链接

\ \ \ \ \ \ \