计算机科学与探索

作者：洪惠群, 沈贵萍, 黄风华

单位：1. 阳光学院 人工智能学院，福州 350015；2. 阳光学院 空间数据挖掘与应用福建省高校工程研究中心，福州 350015；3. 阳光学院 福建省空间信息感知与智能处理重点实验室，福州 350015

关键词：人脸表情识别,多模态,模态融合

基金：国家自然科学基金(41501451);福建省自然科学基金(2019J01088);福建省自然科学基金(2019J01087)

面部表情是判断人类情感和人机交互的重要依据，传统机器学习和深度学习的发展，给面部表情识别分析带来了许多机遇与挑战。首先分析了表情识别与情感分析的内在联系与区别，指出表情识别侧重于识别面部的表情及情感。接着总结归纳了基于单模态数据集和传统机器学习方法的表情识别技术及其优缺点，介绍了基于单模态数据集与深度学习方法的表情识别技术，然后指出基于单模态数据的表情识别技术具有一定的局限性，如：数据集在数量和质量上较为不足，识别准确率普遍不高，多停留在实验室研究阶段等。引出基于多模态数据集的表情识别及模态间融合方法，并介绍常用的多模态表情数据集，分析了基于多模态数据集的表情识别技术及模态之间的融合技术，包含特征级融合、决策级融合及混合融合三种方式。最后对表情识别分析技术进行总结与展望：考虑到数据集问题，可构建更多自然环境下的高质量表情数据集，也可结合姿势、脑电波等生理信号构建多模态数据集，利用GAN网络进行数据增强，关注微表情的提取，以及研究多模态融合算法等。

来源：2022年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第8期