一种基于稀疏优化和Nesterov动量策略的模型剪枝算法

TP311; 随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键.目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证.受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox-NAG优化方法,并设计了与之配套的迭代剪枝算法.该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广.在CIFAR10数据集...

Full description

Saved in:
Bibliographic Details
Published in数据采集与处理 Vol. 39; no. 3; pp. 659 - 667
Main Authors 周强, 陈军, 鲍蕾, 陶卿
Format Journal Article
LanguageChinese
Published 陆军炮兵防空兵学院信息工程系,合肥 230031 01.05.2024
Subjects
稀疏
Proximal梯度方法
Nesterov加速梯度(Nesterov accelerated gradient,NAG)
sparse
optimization
优化
pruning algorithm
剪枝算法
Nesterov accelerated gradient(NAG)
Proximal gradient method
Online AccessGet full text
ISSN1004-9037
DOI10.16337/j.1004-9037.2024.03.013

Cover

More Information
Summary:TP311; 随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键.目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证.受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox-NAG优化方法,并设计了与之配套的迭代剪枝算法.该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广.在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox-NAG剪枝算法较原有剪枝算法性能有所提升.
ISSN:1004-9037
DOI:10.16337/j.1004-9037.2024.03.013