基于多隐层Gibbs采样的深度信念网络训练方法

深度信念网络(Deep belief network,DBN)作为一类非常重要的概率生成模型,在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段,首先是对受限玻尔兹曼机(Restricted Boltzmann machine,RBM)层自底向上逐层进行的贪婪预训练,使得每层的重构误差最小,这个阶段是无监督的;随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法,通过多隐层的Gibbs采样,将局部RBM层组合,并在原有的逐层预训练和整体精调之间进行额外的预训练,有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式,在MNIST和ShapeSet以...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 45; no. 5; pp. 975 - 984
Main Authors 史科, 陆阳, 刘广亮, 毕翔, 王辉
Format Journal Article
LanguageChinese
Published 安全关键工业测控技术教育部工程研究中心 合肥 230009 01.05.2019
合肥工业大学计算机与信息学院 合肥 230009%合肥工业大学计算机与信息学院 合肥 230009
Subjects
深度信念网络
受限玻尔兹曼机
Gibbs采样
对比散度
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c170669

Cover

More Information
Summary:深度信念网络(Deep belief network,DBN)作为一类非常重要的概率生成模型,在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段,首先是对受限玻尔兹曼机(Restricted Boltzmann machine,RBM)层自底向上逐层进行的贪婪预训练,使得每层的重构误差最小,这个阶段是无监督的;随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法,通过多隐层的Gibbs采样,将局部RBM层组合,并在原有的逐层预训练和整体精调之间进行额外的预训练,有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式,在MNIST和ShapeSet以及Cifar10数据集上的实验表明,使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度,有着更高的算法效率.
ISSN:0254-4156
DOI:10.16383/j.aas.c170669