PAC-Bayes理论及应用研究综述

• Published in: 计算机科学与探索 no. 1; pp. 1 - 13
• Main Authors: 汤莉, 宫秀军, 何丽
• Format: Journal Article
• Language: Chinese
• Published: 天津财经大学 理工学院 信息科学与技术系，天津 300222 2015; 天津市认知计算与应用重点实验室，天津 300072%天津财经大学 理工学院 信息科学与技术系,天津,300222; 天津大学 计算机科学与技术学院，天津 300072%天津大学 计算机科学与技术学院，天津 300072
• Subjects: 分类器; 支持向量机; support vector machine (SVM); PAC-Bayes边界; classifier; 泛化能力; PAC-Bayes bound; generalization capability
• ISSN: 1673-9418
• DOI: 10.3778/j.issn.1673-9418.1410046

TP181; PAC-Bayes理论融合了贝叶斯定理和随机分类器的结构风险最小化原理，它作为一个理论框架，可得到最紧的泛化风险边界。分析了PAC-Bayes理论的研究背景和重要意义，介绍了PAC-Bayes理论框架及其在支持向量机上的应用，分别探讨了多种机器学习算法的PAC-Bayes边界，并特别对非独立同分布数据的PAC-Bayes边界进行了分析。从4个方面深入阐述了PAC-Bayes边界应用的研究现状及进展，并对不同的研究方法和特点进行了比较。最后展望了PAC-Bayes边界未来的研究发展方向。