基于字典学习的非线性降维方法

目前，众多的数据降维（Dimensionality reduction，DR）方法（如经典的PCA（Principle component analysisl，ISOMAP（Isometric mapping））能够使降维后的数据保留原始信号的重要特征，但是从降维后的数据中很好地恢复出原始信号仍旧是一个挑战．近年来，稀疏表示（Sparse representation，SR）在信号重构研究中受到广泛关注，信号可以利用过完备字典中少数原子的线性组合来描述．本文提出一种基于字典学习的非线性降维方法．从高维输入信号到低维特征的降维过程中，期望一些重要的几何特征（内积、距离和夹角）得以保留，同时又能够...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 42; no. 7; pp. 1065 - 1076
Main Author 郑思龙 李元祥 魏宪 彭希帅
Format Journal Article
LanguageChinese
Published 2016
Subjects
压缩感知
字典学习
数据降维
稀疏表示
Online AccessGet full text
ISSN0254-4156
1874-1029

Cover

More Information
Summary:目前，众多的数据降维（Dimensionality reduction，DR）方法（如经典的PCA（Principle component analysisl，ISOMAP（Isometric mapping））能够使降维后的数据保留原始信号的重要特征，但是从降维后的数据中很好地恢复出原始信号仍旧是一个挑战．近年来，稀疏表示（Sparse representation，SR）在信号重构研究中受到广泛关注，信号可以利用过完备字典中少数原子的线性组合来描述．本文提出一种基于字典学习的非线性降维方法．从高维输入信号到低维特征的降维过程中，期望一些重要的几何特征（内积、距离和夹角）得以保留，同时又能够从低维数据中恢复出原始信号．为达此目的，本文采用CDL（Concentrated dictionary learning）算法训练一个字典对（高维字典D和低维字典P），使高维原始信号的能量能够聚集于低维子空间中．字典D用来获取稀疏表示系数，字典P是D的直接降维采样，CDL算法能够保证P聚集D中的大部分能量．这样，信号的降维与恢复问题就转变为字典对的训练问题，信号的降维即为从D到P的能量保留过程．实验表明：CDL可在RIP（Restricted isomery property）条件的限制之外具有一定的信号重建能力，能在更低的维度条件下恢复图像，优于传统的压缩感知方法．此外，在噪声较大的情况下，CDL图像压缩效果优于JPEG2000．
Bibliography:Dimensionality reduction （DR）, sparse representation （SR）, compressed sensing （CS）, dictionary learning
Most classic dimensionality reduction （DR） algorithms （such as principle component analysis （PCA） and isometric mapping （ISOMAP）） focus on finding a low-dimensional embedding of original data, which axe often not reversible. It is still challenging to make DR processes reversible in many applications. Sparse representation （SR） has shown its power on signal reconstruction and denoising. To tackle the problem of large scale dataset processing, this work focuses on developing a differentiable model for invertible DR based on SR. From high-dimensional input signal to the low-dimensional feature, we expect to preserve some important geometric features （such as inner product, distance and angle） such that the reliable reconstruction from the low dimensional space back to the original high dimensional space is possible. We employ the algorithm called concentrated dictionary learning （CDL） to train the high dimensi
ISSN:0254-4156
1874-1029