计算机科学与探索

作者：马金林, 刘宇灏, 马自萍, 巩元文, 朱艳彬

单位：1. 北方民族大学 计算机科学与工程学院，银川 750021 2. 图像图形智能信息处理国家民委重点实验室，银川 7500213. 北方民族大学 数学与信息科学学院，银川 750021

关键词：唇语识别,轻量化,知识蒸馏,自知识,Ghost Bottleneck

针对唇语识别模型的识别率较低和计算量较大的问题，提出一种同类自知识蒸馏的轻量化唇语识别模型（HSKDLR）。首先，提出关注唇部图像空间特征的S-SE注意力模块，用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块，以提升唇语识别模型的准确率；其次，基于i-Ghost Bottleneck构建唇语识别模型，该模型通过优化瓶颈结构的组合方式降低模型计算量；然后，为提升模型准确率，减少模型运行时间，提出同类自知识蒸馏（HSKD）的模型训练方法；最后，使用同类自知识蒸馏方法训练唇语识别模型，并检验其识别性能。实验结果表明：与其他方法相比，HSKDLR具有更高的识别准确率和更低的计算量，在LRW数据集上的准确率达87.3%，浮点数运算量低至2.564 GFLOPs，参数量低至3.872 3×107；同类自知识蒸馏可被应用于大多数唇语识别模型，帮助其有效提升识别准确率，减少训练时间。

来源：2023年第11期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2023年第11期