计算机科学与探索

作者：马金林, 巩元文, 马自萍, 陈德光, 朱艳彬, 刘宇灏

单位：1. 北方民族大学 计算机科学与工程学院，银川 7500212. 图像图形智能处理国家民委重点实验室，银川 7500213. 北方民族大学 数学与信息科学学院，银川 750021

关键词：唇语识别,视觉特征,深度学习

现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面，对提高唇部视觉特征的有效性关注不多。而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用，尤其在音频被破坏或无音频信息时，唇部视觉信息尤为重要。如何获取准确有效的唇部视觉特征是当前唇语识别的难点工作之一。从唇语数据集、传统视觉特征提取方法、视觉特征提取的深度学习方法三方面综述了唇语识别方向近年来的最新 研究工作：首先，总结了唇语识别数据集，将唇语数据集分为正视图和多视图两种类型，并总结整理两类数据集的特点、局限性和下载地址；其次，从像素点、形状和混合特征的角度介绍了唇部视觉特征提取的传统方法，重点介绍各方法的基本思想、网络结构和特点；然后，介绍了唇部视觉特征提取的深度学习方法，重点介绍 2D CNN、3D CNN、2D CNN与3D CNN相结合、其他神经网络四种深度学习方法的网络结构和优缺点，并比较了这些方法在公开数据集上的性能表现；最后，对唇部视觉特征提取方法所面临的挑战和未来研究趋势进行了展望。

来源：2021年第12期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2021年第12期