HSKDLR:同类自知识蒸馏的轻量化唇语识别方法

TP391; 针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR).首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能.实验结果表明:与其他方法相比,HSKDLR具有更高的...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 17; no. 11; pp. 2689 - 2702
Main Authors 马金林, 刘宇灏, 马自萍, 巩元文, 朱艳彬
Format Journal Article
LanguageChinese
Published 北方民族大学 计算机科学与工程学院,银川 750021 10.11.2023
图像图形智能信息处理国家民委重点实验室,银川 750021%北方民族大学 计算机科学与工程学院,银川 750021%北方民族大学 数学与信息科学学院,银川 750021
Subjects
Ghost Bottleneck
self-knowledge
知识蒸馏
lip reading
knowledge distillation
自知识
唇语识别
轻量化
lightweight
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2208032

Cover

More Information
Summary:TP391; 针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR).首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能.实验结果表明:与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.872 3×107;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2208032