改进的轻量型网络在图像识别上的应用

TP391.41; 针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为sep_res18_s3.实验分别在MNIST、CIFAR-10、CIFAR-100数据集上验证SepNet的有效性,设计的SepNet网络结构相比VGG10,参数数量和运算量在不损失其精度下均降低了94.15％.同时,相比设计的类残差网络cov_res18_...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 15; no. 4; pp. 743 - 753
Main Authors 肖振久, 杨晓迪, 魏宪, 唐晓亮
Format Journal Article
LanguageChinese
Published 辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105%中国科学院海西研究院 泉州装备制造研究所,福建 晋江 362200 01.04.2021
Subjects
克罗内克积
卷积神经网络(CNN)
图像识别
深度可分离卷积
轻量化
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2004057

Cover

More Information
Summary:TP391.41; 针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为sep_res18_s3.实验分别在MNIST、CIFAR-10、CIFAR-100数据集上验证SepNet的有效性,设计的SepNet网络结构相比VGG10,参数数量和运算量在不损失其精度下均降低了94.15％.同时,相比设计的类残差网络cov_res18_s3,sep_res18_s3仍能降低58.33％的参数量和81.82％的FLOPs.实验结果表明,采用克罗内克积替换全连接层可以在保证训练结果准确度的同时显著降低参数数量和计算成本,并在一定程度上防止过拟合,在此基础上结合深度可分离卷积和类残差结构,证明了sep_res18_s3的有效性.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2004057