基于迁移学习和自学习情感表征的情感语音合成

基于迁移学习和自学习情感表征的情感语音合成随着计算机科学和人工智能等领域的发展,作为人机交互核心技术的语音合成技术已经较为成熟,但目前语音合成技术主要针对中性语音的合成,情感语音合成技术仍然有待提高。情感作为一种重要的信息,会很大程度上改变语音所表达的内容,在缺少情感信息时会造

成表达有歧义、人机沟通不顺畅等问题。本文针对情感语音合成中的情感表征问题进行分析,提出了一种自学习情感表征方法,并且基于

自学习情感表征提出了一种情感语音合成方法,主要研究内容如下:1.针对现有情感表征对情感的描述力不够、不同人进行情感语音标注时存在差异以及人力标注代价过大等问题,提出了一种自学习情感表征方法,该方法通过一种自编码网络对语音中的情感信息建模,将语音

中的情感信息进行量化,在训练时使用了对抗训练的方法保证在情感建模的过程中不受到说话人个体差异的影响。实验结果表示,自学习情感表征在不需要人工参与的情况下具有较好的情感描述能力,解决了标注代价大和个体标注差异性的问题。2.提出了一种基于迁移学习和自学习情感表征的情感语音合成方法。该方法将文本无关说话人验证任务中的说话人判别模型迁移至情感语音合成方法中,用来提取说话人的个性化信息;将个性化信息、自学习情感表征与文本内容输入到端到端情感语音合成器中,合成梅尔语谱图;通过WaveNet声码器

将梅尔语谱图转化为情感语音。该方法在训练时不需要情感标注信息和说话人标签信息,相比于其他情感语音合成方法更加灵活,实验结

果表示该方法可以合成自然度和情感度较高的情感语音。