两两关系马尔科夫网的自适应组稀疏化学习 - 刘建伟 任正平 刘泽宇 黎海恩 罗雄麟 (自动化学报, 2015)
稀疏化学习能显著降低无向图模型的参数学习与结构学习的复杂性,有效地处理无向图模型的学习问题.两两关系马尔科夫网在多值变量情况下,每条边具有多个参数,本文对此给出边参数向量的组稀疏化学习,提出自适应组稀疏化,根据参数向量的模大小自适应调整惩罚程度.本文不仅对比了不同边势情况下的稀疏化学习性能,为了加速模型在复杂网络中的训练过程,还对目标函数进行伪似然近似、平均场自由能近似和Bethe自由能近似.本文还给出自适应组稀疏化目标函数分别使用谱投影梯度算法和投影拟牛顿算法时的最优解,并对比了两种优化算法进行稀疏化学习的性能.实验表明自适应组稀疏化具有良好的性能.