计算机科学与探索

作者：张丽敏, 李扬, 蔡浩, 燕浩

单位：西安外国语大学 人工智能与语言认知神经科学重点实验室，西安 710128

关键词：语音情感识别,多层次通道融合,wav2vec 2.0,卷积神经网络（CNN）

基金：陕西省社会科学基金（2022K014）。

语音情感识别是机器情感认知能力的关键，对于提高人机交互质量至关重要。然而，现有研究多聚焦于浅层特征的分析，忽略了多特征融合的优势，同时数据样本量有限，影响了模型的泛化能力，导致语音情感识别准确率不够理想。为了进一步提高语音情感识别的准确率，提出一种基于数据增强和多层次通道融合的语音情感识别方法。将原始语音加入高斯白噪声、音高转换和混合处理三种方法进行数据增强，提高模型的鲁棒性。提出一种基于wav2vec 2.0模型和CNN模型的多层次并行通道网络结构。其中，第一个通道采用wav2vec 2.0模型作为主干网络，学习语音数据的深层表征，再经过两层卷积的CNN模型进行计算；第二个通道提取语音情感浅层特征作为输入，采用五层卷积的CNN模型学习语音数据的浅层表征，更全面地分析语音数据的深层表征和浅层表征。将两个通道输出的表征进行融合，形成深浅结合的多层次语音情感特征体系。所提出的模型在RAVDESS和CASIA数据集上分别进行测试，准确率达到94.38%和98.75%，实验结果验证了所提方法的有效性。

来源：2025年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第8期