音频生成技术正经历一场激动人心的变革，从传统的模块化架构向端到端生成模式加速发展。早期的合成系统通常需要先将音频压缩成梅尔频谱图等中间表示，再使用神经声码器将其“翻译”回原始波形。每一次转换dou伴随着信息损失和误差累积，Zui终导致细腻音色和个性化细节的流失。为了解决这一问题，美团技术团队正式发布了 LongCat-AudioDiT 模型，它通过一种全新的“波形隐空间直通”设计范式，彻底抛弃了中间表示，直接在波形潜空间进行基于扩散模型的文本转语音 。

在零样本 TTS 音色克隆任务中，模型需要Neng够学习新的说话人音色，而无需针对该音色进行专门的训练。然而传统的扩散模型往往面临着以下挑战：

中间表征的损失：将音频压缩成梅尔频谱图等中间表征会造成信息丢失。

训练-推理不匹配：在训练过程中，模型只优化掩码区域的损失，而音频提示区域则不受约束地演化，导致生成的语音与训练数据存在差异。

频谱过饱和：采用无分类器引导 时引导强度过大容易导致频谱过饱和，影响音质自然度。

为了克服这些难题，美团 LongCat 团队构建了全新的 LongCat-AudioDiT 架构。

LongCat-AudioDiT 采用了 Wav-VAE 和 扩散 Transformer 的结合方案。Wav-VAE 作为一种全卷积音频自编码器，将原始波形压缩为紧凑的连续隐向量。这使得模型Ke以直接在波形潜空间进行声音的建模和重建。

APG 通过分解引导信号为平行分量和正交分量来提升语音自然度和声学质量。APG 保留正交分量，同时抑制平行分量，从而避免了因 CFG 过度放大而导致的频谱过饱和问题。

Wav-VAE 是一个全卷积音频自编码器，它通过学习将原始波形压缩为紧凑的连续隐向量来实现声音的建模和重建。Wav-VAE 的设计蕴含了多项关键创新:

全卷积结构：简化了计算复杂度

连续隐向量表示：保留了geng多的细节信息

LongCat - AudioDiT 在 Seed 基准测试中取得了当前Zui优 的零样本语音克隆性Neng 。具体来说：

SIM 指标显著提升： 在 Seed - ZH 测试集上说话人相似度指标提升至 ，在 Seed - Hard 测试集上达到 ，超过了 Seed - TTS、CosyVoice3.、MiniMax - Speech 等知名模型 。

可懂度保持竞争力 ：尽管专注于说话人相似度提升, LongCat - AudioDiT 仍保持着具有竞争力的可懂度 。

长期存在的 "训练 - 推理不匹配" 问题解决 : 通过修改 CFM 训练框架, 将音频提示区域参与优化, 使其分布轨迹geng接近于训练时的约束条件.

用自适应投影引导 取代传统无分类器引导 ： APG Nenggeng精准地控制生成过程, 显著提高语音自然度和声学质量 。

LongCat AudioDiT 以极简的架构、纯粹的波形潜空间建模以及对训练推理不匹配问题的有效解决方案证明了绕开中间表征的扩散 TTS路线并非无法实现Zui佳效果 , gengNeng达到业界Zui佳水平。

"我们相信，“波形隐空间直通”的设计范式将为高保真语音合成与多模态音频生成提供新的思路。"

LongCat AudioDiT 模型凭借其优秀的说话人相似度 和稳定的准确率 ，在零样本语音克隆任务中展现出强大的竞争力 。值得一提的是, LongCat AudioDiT 并没有使用高质量人工标注数据和多阶段的训练, 只需通过 ASR 转写的预训练数据和单阶段预训练就取得了比多阶段训练的模型geng好的表现 。