17.7 小结

本章介绍了文本到语音（TTS）的基本算法。

• TTS 的一种常见现代算法，是使用在编解码器模型中学习到的音频词元，并通过语言模型进行条件生成。

• 神经音频编解码器（coder/decoder 的缩写）是一种把模拟语音信号编码为数字化、离散、压缩表示的系统，用于压缩。

• 编解码器产生的压缩表示中的离散符号，可以作为语言建模的离散编码。

• 编解码器包括编码器、量化器和解码器：编码器使用卷积网络对语音进行下采样，得到下采样嵌入；量化器把嵌入转换为一系列离散词元；解码器使用卷积网络对词元/嵌入进行上采样，恢复为有损重建波形。

• 向量量化（VQ）是一种把向量序列转换为离散符号序列的方法。可以使用 k-means 聚类实现：创建一个码本，其中每个编码由位于相应簇质心处的向量表示，该向量称为码字。输入向量可以分配给最近的码字簇。

• 残差向量量化（RVQ）是向量量化的层次化版本。它先将输入向量量化到一个码本，再量化残差（码字与输入向量之间的差），然后反复进行，从而为输入向量生成多个编码。

• VALL-E 等 TTS 系统接收待合成文本和目标声音样本，用 BPE（文本）和音频编解码器（语音）进行分词，再使用语言模型，以条件方式生成与文本提示对应、且采用声音样本说话人声音的离散音频词元。

• TTS 的评估方法是向人类听者播放句子，并让他们给出平均意见分（MOS）。