一种端到端语音合成中的高效解码自注意力网络

2022年第23卷第7期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2022年第23卷第7期 doi: 10.1631/FITEE.2100501

一种端到端语音合成中的高效解码自注意力网络

1浙江大学电气工程学院，中国杭州市，310027；2浙江大学机器人研究院，中国余姚市，315400

收稿日期： 2021-10-21 录用日期： 2022-07-21 发布日期： 2022-07-21

HTML30 PDF 11 收藏 0

摘要

自注意力网络由于其并行结构和强大的序列建模能力，被广泛应用于语音合成（TTS）领域。然而，当使用自回归解码方法进行端到端语音合成时，由于序列长度的二次复杂性，其推理速度相对较慢。当部署设备未配备图形处理器（GPU）时，该效率问题更加严重。为解决该问题，提出一种高效解码自注意力网络（EDSA）作为替代。通过一个动态规划解码过程，有效加速TTS模型推理，使其具有线性计算复杂度。基于普通话和英文数据集的实验结果表明，所提EDSA模型在中央处理器（CPU）和GPU上的推理速度分别提高720%和50%，而性能几乎相同。因此，在GPU资源有限的情况下，该方法可使此类模型的部署更加容易。此外，所提模型在域外语言处理上可能比基线Transformer TTS性能更好。

关键词

高效解码 ; 端到端 ; 自注意力网络 ; 语音合成