你懂的，Zui近有个说法，Mythos 架构被封印了？别闹！咱就是说这 Mythos 架构啊，当年可是厉害得hen。不过现在有个 22 岁的小伙 Kye Gomez，他竟然把这玩意儿给开源了！哈哈。

RDT：循环深度 Transformer 的秘密

Kye 这小子，他设计的 RDT 架构可牛了。咱来捋一捋，它融合了 MoE和 DeepSeek 注意力机制，而且还把循环推理给玩出来了。

核心理念：多遍思考

以前大家觉得 AI 模型要geng强，就得堆参数呗。一层又一层 Transformer 层堆起来参数量直接爆炸。但 Kye 琢磨到了个点：与其堆层数，不如让模型多“想”几遍。也就是所谓的“多遍思考”。

RDT 的思路就是这样——每次推理时dou多跑几轮循环。每一轮循环激活不同的“专家”，就像一群专家一起讨论一样。这些专家互相分享知识，Zui后把问题给解决了。

MoE 和 DeepSeek 的妙用

Kye 在 RDT 中使用了 MoE 技术。简单来说MoE 就是把模型分成hen多个“专家”，每个专家负责不同的任务或领域。每次推理时路由器会选择一部分专家参与其中。

DeepSeek 注意力机制呢？那也是为了让模型geng擅长组合知识。Kye 把这两个东西结合起来了效果可就棒了。

实验结果：惊人的一致性

咱说实话，Kye 的实验结果真是让人震惊！用 770M 参数的 RDT 追平了 .3B 参数的标准 Transformer 的效果！哇哦。

geng神奇的是在训练时从没见过的知识组合下RDT 照样Neng答对问题；而标准 Transformer 就直接失败了！这说明循环推理真的Neng解锁模型的组合Neng力。

系统性泛化：未来的方向

Kye 说“Ru果这些结论成立的话，Scaling 的主流将从”训练geng大的模型“转向”让现有模型在推理时多想几遍“。”听着是不是hen厉害？

也就是说以后 AI 模型可Neng不再是越大越好，而是要学会如何高效地进行推理。这套循环方法似乎就Neng解决这个问题。

RDT 的三个关键点

连续潜在空间推理: 整个推理过程dou在 hidden state 向量中完成的, 不产生中间 token. 就像在脑子里悄悄思考一样.

深度外推: 减少近一半参数, 但效果没变. 效率提升是真的.

混合专家层: 在每次循环中激活不同的专家子集, 各司其职.

为什么不重复计算？

RDT 是 “想完遍才说一句话”，也就是说每次循环dou会激活不同的 “专家”，然后把答案整合起来输出。所以每次dou不重复计算啦。

你说是不是傻？咱就是说…
其实挺有道理的.
Gomez 把这套设计成一句话：RDT 不用上百层, 只用几层, Zui多反复循环跑遍, 每遍dou基于前一轮的结果继续计算.
是不是简洁明了? 与其他方法的比较 Chain-of-Thought vs RDT 你可Neng听说过 Chain-of-Thought 方法吧. CoT 是让模型一步一步地解释思考过程, 然后给出答案. 而 RDT 则完全在内部进行推理, 不产生任何中间 token. 这两种方法各有优缺点嘛. 未来展望 对了, 还提到 Parcae 一篇论文, 他们也研究过 LTI 方法来稳定循环 Transformers. Kye 也引用了一些俄亥俄州立大学的研究结果. 总之, 大家dou在努力探索如何让循环方法geng稳定、geng有效. 哎呀说了这么多, 其实 Kye 这小子设计的 RDT 架构真的hen有意思。 他把 Mythos 开源出来之后, 让大家一起研究、一起改进。 这才是科技发展的精神嘛! 欢迎在评论区留下你的想法!

---