基于最大熵模型的柬英平行网页获取

• Published in: 计算机工程 Vol. 42; no. 5; pp. 194 - 200
• Main Author: 莫源源 潘丽同 严馨 余正涛 刘小惠
• Format: Journal Article
• Language: Chinese
• Published: 上海师范大学语言研究所,上海200234 2016; 云南民族大学东南亚南亚语言文化学院,昆明650500%昆明理工大学信息工程与自动化学院,昆明,650500; 云南省计算机技术应用重点实验室,昆明650500
• Subjects: 余弦相似性; 平行网页; 平行语料库; 最大熵模型; 柬埔寨语-英语; 平行网页; 余弦相似性; Khmer-English; 平行语料库; 最大熵模型; parallel Web page; maximum entropy model; cosine similarity; parallel corpus; 柬埔寨语-英语
• ISSN: 1000-3428
• DOI: 10.3969/j.issn.1000-3428.2016.05.033

由于平行网站的异构性和复杂性，如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此，应用最大熵模型，将平行网页的识别问题看作候选网页对的分类问题，对平行网页的获取方法进行改进。利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对。根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别。在特征选取上，提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征，并应用TF—IDF算法与余弦相似性提取文档向量的余弦相似度特征。实验结果表明，所提方法可有效提高双语网站中平行网页的召回率和准确率，所获取平行网页的准确率和召回率分别为98％，94％。