VoxCPM

VoxCPM – 面壁智能联合清华推出的语音生成模型

核心观点： VoxCPM 是一个由面壁智能与清华大学深圳国际研究生院联合研发的 0.5B 参数语音生成模型，凭借其创新的扩散自回归架构，在语音合成的自然度、音色还原度和韵律表现力上达到了业界领先水平。该模型支持零样本语音克隆、高效流式合成、中英双语支持以及对公式符号等复杂文本的处理，广泛应用于语音助手、有声读物、教育娱乐等多个领域。

VoxCPM：颠覆性语音生成模型

VoxCPM，一款由面壁智能携手清华大学深圳国际研究生院倾力打造的 0.5B 参数语音生成模型，正以其卓越的性能引领行业新标杆。它在语音合成的自然度、音色精确复刻以及韵律表现力方面，均达到了令人瞩目的业界顶尖水平。

VoxCPM 的创新之处

VoxCPM 独树一帜地采用了端到端的扩散自回归架构。这一性的设计，使其能够直接从文本生成连贯的语音表达，彻底摆脱了传统离散分词的束缚。通过精妙的分层语言建模和有限状态量化约束，VoxCPM 实现了语义与声学的巧妙解耦，极大地提升了语音的表达张力和生成过程的稳定性。其强大的零样本语音克隆能力，只需一小段参考音频，便能精准捕捉并复现说话者的音色、口音、情感语调等细微之处，生成高度逼真的仿声语音。更值得一提的是，VoxCPM 的推理效率惊人，在 NVIDIA RTX 4090 GPU 上，实时因子（RTF）低至 0.17，完全满足实时应用的需求。此外，VoxCPM 还支持中英双语的声音复刻，并能合成公式、符号音频，实现自定义的读音纠正，应用场景更加广泛。

VoxCPM 的核心功能亮点

深度上下文感知语音生成：VoxCPM 深入理解文本的精髓，能够依据文本的语义巧妙地推断并生成恰当的韵律，输出极具表现力且流畅自然的语音。它能够自主调整说话风格，并依托于庞大的 180 万小时双语语料库训练，创造出高度契合的个性化声音表达。
精准零样本语音克隆：仅需一小段参考音频，VoxCPM 即可实现令人惊叹的零样本语音克隆。它能够完美还原说话者的音色，并捕捉口音、情感语调、节奏和停顿等细微特征，打造出高度忠实且自然的仿声声音。
极速合成体验：VoxCPM 支持流式合成，在消费级 NVIDIA RTX 4090 GPU 上，实时因子（RTF）低至 0.17，能够轻松满足各种实时应用场景的需求。
多语言驾驭能力：VoxCPM 主要针对英语和中文进行深度训练，能够生成高质量的中英双语语音，适用于多元化的语言环境和应用场景。
灵活多样的文本输入：VoxCPM 支持普通文本输入和音素输入等多种文本输入方式，用户可根据具体需求选择最合适的输入模式，实现更为精细的发音控制。
强大的复杂文本处理：VoxCPM 能够游刃有余地处理公式、符号等特殊文本内容，并生成相应的语音输出。它还支持自定义读音纠正，用户可以通过音素标记替换来实现特定的发音需求。

VoxCPM 的技术驱动力

端到端扩散自回归架构：VoxCPM 采用了端到端的扩散自回归（Diffusion Autoregressive）架构，直接从文本生成连续的语音表示，克服了传统离散分词的局限，能够更自然地处理语音的连续性。
分层语言建模与 FSQ 约束：通过分层语言建模（Hierarchical Language Modeling）和有限状态量化（FSQ）约束，VoxCPM 实现了语义-声学（Semantic-Acoustic Decoupling）的隐式解耦，显著提升了语音的表达力和生成稳定性。
局部音频编码模块（LocEnc Module）：该模块负责对输入的文本进行编码，提取文本的语义信息，并将其转化为适合语音生成的中间表示。
文本-语义语言模型（Text-Semantic LM， TSLM）：TSLM 专注于对文本的语义进行建模，生成与文本内容相关的语义表示，为后续的语音生成奠定坚实的语义基础。
残差声学语言模型（Residual Acoustic LM， RALM）：在 TSLM 的基础上，RALM 进一步细化声学特征，注入声学细节，使生成的语音更加自然逼真。
局部扩散生成模块（LocDiT Module）：LocDiT 模块通过扩散过程生成连续的语音特征，融合语义和声学信息，最终输出高质量的语音波形。
因果式 VAE 编解码器：该编解码器用于将原始音频波形压缩至低帧率的隐空间，并将生成的语音表征重构回波形信号，确保生成的语音质量优良且稳定。