改进聚类的深度神经网络压缩实现方法

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能....

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 36; no. 7; pp. 1130 - 1136
Main Authors 刘涵, 王宇, 马琰
Format Journal Article
LanguageChinese
Published 西安理工大学自动化与信息工程学院,陕西西安,710048 01.07.2019
Subjects
剪枝
K–Means++聚类
深度网络压缩
深度神经网络
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2018.70592

Cover

Abstract 深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.
AbstractList 深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.
Author 王宇
刘涵
马琰
AuthorAffiliation 西安理工大学自动化与信息工程学院,陕西西安,710048
AuthorAffiliation_xml – name: 西安理工大学自动化与信息工程学院,陕西西安,710048
Author_FL WANG Yu
LIU Han
MA Yan
Author_FL_xml – sequence: 1
  fullname: LIU Han
– sequence: 2
  fullname: WANG Yu
– sequence: 3
  fullname: MA Yan
Author_xml – sequence: 1
  fullname: 刘涵
– sequence: 2
  fullname: 王宇
– sequence: 3
  fullname: 马琰
BookMark eNotjz9Lw0AcQG-oYK1d_Qwuib9fLpe7G0vwHxRcspe7XCJqSMEgEjfBTagI6tBKNwUXsThIjeKnSa4fw4JOb3uPt0Za-TBPCNlAcHng41YY9VwPULgcmPRapI0A4Ahk3irpFsWRBkAEjzNsE9rczRc_k8Xl2M4qO75qPmb157N9mtrqxn7f2uqxHl3br5f6dWpHb83DvHm_XycrqcqKpPvPDol2tqNwz-kf7O6Hvb5TIFDfESkEklFljJBaxtokASCDWDKRKB4bj3JfaJ-yOIiVMik1mHoKldboL0E7ZPNPe67yVOWHg-Ph2Wm-DA5OLrKsLMvlowQO6NNfJv9bSA
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.7641/CTA.2018.70592
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
Discipline Engineering
DocumentTitle_FL Deep neural networks compression based on improved clustering
EndPage 1136
ExternalDocumentID kzllyyy201907014
GrantInformation_xml – fundername: 国家自然科学基金重点项目; 陕西省重点研发计划重点项目; 陕西省现代装备绿色制造协同创新中心研究计划; 陕西省教育厅科学研究计划; 西安理工大学特色研究计划
  funderid: (61833013); (2018ZDXM–GY–089); (304–210891704); (2017JS088); (2016TS023)
GroupedDBID -01
-0Y
2B.
4A8
5XA
5XJ
92H
92I
93N
ABJNI
ACGFS
ALMA_UNASSIGNED_HOLDINGS
CCEZO
CCVFK
CUBFJ
CW9
PSX
TCJ
TGT
U1G
U5S
UY8
ID FETCH-LOGICAL-s1034-8f06953add89b9cbde60150c958ea7cd23748b435c6caadf3d1f2a1abb14a1a3
ISSN 1000-8152
IngestDate Thu May 29 04:08:30 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 7
Keywords 剪枝
K–Means++聚类
深度网络压缩
深度神经网络
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1034-8f06953add89b9cbde60150c958ea7cd23748b435c6caadf3d1f2a1abb14a1a3
PageCount 7
ParticipantIDs wanfang_journals_kzllyyy201907014
PublicationCentury 2000
PublicationDate 2019-07-01
PublicationDateYYYYMMDD 2019-07-01
PublicationDate_xml – month: 07
  year: 2019
  text: 2019-07-01
  day: 01
PublicationDecade 2010
PublicationTitle 控制理论与应用
PublicationTitle_FL Control Theory & Applications
PublicationYear 2019
Publisher 西安理工大学自动化与信息工程学院,陕西西安,710048
Publisher_xml – name: 西安理工大学自动化与信息工程学院,陕西西安,710048
SSID ssib001102751
ssib002258297
ssib023646306
ssib057620041
ssib051372463
ssj0042201
ssib023167526
Score 2.2657385
Snippet 深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首...
SourceID wanfang
SourceType Aggregation Database
StartPage 1130
Title 改进聚类的深度神经网络压缩实现方法
URI https://d.wanfangdata.com.cn/periodical/kzllyyy201907014
Volume 36
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVEBS
  databaseName: Inspec with Full Text
  issn: 1000-8152
  databaseCode: ADMLS
  dateStart: 20170701
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text
  omitProxy: false
  ssIdentifier: ssib057620041
  providerName: EBSCOhost
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV1Lb9QwELZKe4ED4ineKhI-bokd27GPTppVhYALi9RblccGJKpFou2hvSFxQypCAg4F9QYSF0TFAZWC-DXd9Gcw4_VuUugBkKrUsSfjzzMbzyTxjAm5AZNiVEZV2OGVggcUI1THlEp3BGeFiQrBdN-t8r2rFu6LW4tycerYWju6ZDWfKzaOjCv5H61CHegVo2T_QbMTplABZdAvHEHDcPwrHdNUUSNobGiqadylJsaCZtRYmkY0ZjSOsQCnWiBx7CpTSWNLrcImK6lJHXFMddcV5qlhvsYkSKxTqh2fOKHWYI1N_VXQFAcOhnIw4BjS0X6WY5cXK4HMRo4V4HT9moBqhWiBFYBJYRQayUbYYFBII6idrLT1VxvtOoE_2bREY4gOWWNaaWoQsE18j3HQfsnh4qraLzkcHImC9IxMC6lE4UErNgk_GjvvpAjAock6hCBX7QoJiqQZlkC2ljlhMGq7LYYRXuLRjxgaagA1h5-_LxvZwvYHSJ5g8iTRNjAYya-ZPGSBRilg_J0WtcwJY_6jVX98qo4ye5ESaPaSnsW1inouAp-ZNwZ-suzy0cby8vr6OgoYZnrc_n2GgzEMpsmMnb9z-17jRzP8mt3y67jEEOzxOcf0CbLx23ETAhU2n-slCyPe2mZBYieBmKy9Epy7fcknwhhlU8Vh3Dw8CBdKN6iywYOW19c7RU76x7VZO7r3TpOpjYdnyIlWEs-zJBy-2j34-fbg6Va9s1dvPRt-3dn_9qF-v13vvah_vKz33u1vPq-_f9z_tF1vfh6-2R1-eX2O9LppL1no-K1IOissCEVHV4EyMgRnQJvcFHnZV_iqsDBS97OoKDlmccrh0aNQRZaVVViyimcsy3Mm4F94nkwPHg_6F8hsEGZVUIYsL1UgqoIZmA1zTMNZFOA7Z-oiue5HvORnmpWl3_V26S9oLpPjzY10hUyvPlnrXwX_eTW_5rX9CwJej7I
linkProvider EBSCOhost
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E6%94%B9%E8%BF%9B%E8%81%9A%E7%B1%BB%E7%9A%84%E6%B7%B1%E5%BA%A6%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%8E%8B%E7%BC%A9%E5%AE%9E%E7%8E%B0%E6%96%B9%E6%B3%95&rft.jtitle=%E6%8E%A7%E5%88%B6%E7%90%86%E8%AE%BA%E4%B8%8E%E5%BA%94%E7%94%A8&rft.au=%E5%88%98%E6%B6%B5&rft.au=%E7%8E%8B%E5%AE%87&rft.au=%E9%A9%AC%E7%90%B0&rft.date=2019-07-01&rft.pub=%E8%A5%BF%E5%AE%89%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6%E8%87%AA%E5%8A%A8%E5%8C%96%E4%B8%8E%E4%BF%A1%E6%81%AF%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%2C%E9%99%95%E8%A5%BF%E8%A5%BF%E5%AE%89%2C710048&rft.issn=1000-8152&rft.volume=36&rft.issue=7&rft.spage=1130&rft.epage=1136&rft_id=info:doi/10.7641%2FCTA.2018.70592&rft.externalDocID=kzllyyy201907014
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fkzllyyy%2Fkzllyyy.jpg