基于最大熵模型的柬英平行网页获取
由于平行网站的异构性和复杂性，如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此，应用最大熵模型，将平行网页的识别问题看作候选网页对的分类问题，对平行网页的获取方法进行改进。利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对。根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别。在特征选取上，提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征，并应用TF—IDF算法与余弦相似性提取文档向量的余弦相似度特征。实验结果表明，所提方法可有效提高双语网站中平行网页的召回率和准确率，所获取平行网页的准确率和召回率分别为9...
Saved in:
| Published in | 计算机工程 Vol. 42; no. 5; pp. 194 - 200 |
|---|---|
| Main Author | |
| Format | Journal Article |
| Language | Chinese |
| Published |
上海师范大学语言研究所,上海200234
2016
云南民族大学东南亚南亚语言文化学院,昆明650500%昆明理工大学信息工程与自动化学院,昆明,650500 云南省计算机技术应用重点实验室,昆明650500 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 1000-3428 |
| DOI | 10.3969/j.issn.1000-3428.2016.05.033 |
Cover
| Abstract | 由于平行网站的异构性和复杂性，如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此，应用最大熵模型，将平行网页的识别问题看作候选网页对的分类问题，对平行网页的获取方法进行改进。利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对。根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别。在特征选取上，提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征，并应用TF—IDF算法与余弦相似性提取文档向量的余弦相似度特征。实验结果表明，所提方法可有效提高双语网站中平行网页的召回率和准确率，所获取平行网页的准确率和召回率分别为98％，94％。 |
|---|---|
| AbstractList | TP18; 由于平行网站的异构性和复杂性,如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题.为此,应用最大熵模型,将平行网页的识别问题看作候选网页对的分类问题,对平行网页的获取方法进行改进.利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对.根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别.在特征选取上,提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征,并应用TF-IDF算法与余弦相似性提取文档向量的余弦相似度特征.实验结果表明,所提方法可有效提高双语网站中平行网页的召回率和准确率,所获取平行网页的准确率和召回率分别为98％,94％. 由于平行网站的异构性和复杂性，如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此，应用最大熵模型，将平行网页的识别问题看作候选网页对的分类问题，对平行网页的获取方法进行改进。利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对。根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别。在特征选取上，提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征，并应用TF—IDF算法与余弦相似性提取文档向量的余弦相似度特征。实验结果表明，所提方法可有效提高双语网站中平行网页的召回率和准确率，所获取平行网页的准确率和召回率分别为98％，94％。 |
| Author | 莫源源 潘丽同 严馨 余正涛 刘小惠 |
| AuthorAffiliation | 上海师范大学语言研究所,上海200234 云南省计算机技术应用重点实验室,昆明650500 云南民族大学东南亚南亚语言文化学院,昆明650500 昆明理工大学信息工程与自动化学院,昆明650500 |
| AuthorAffiliation_xml | – name: 上海师范大学语言研究所,上海200234;云南省计算机技术应用重点实验室,昆明650500;云南民族大学东南亚南亚语言文化学院,昆明650500%昆明理工大学信息工程与自动化学院,昆明,650500 |
| Author_FL | MO Yuanyuan PAN Litong YU Zhengtao YAN Xin LIU Xiaohui |
| Author_FL_xml | – sequence: 1 fullname: MO Yuanyuan – sequence: 2 fullname: PAN Litong – sequence: 3 fullname: YAN Xin – sequence: 4 fullname: YU Zhengtao – sequence: 5 fullname: LIU Xiaohui |
| Author_xml | – sequence: 1 fullname: 莫源源 潘丽同 严馨 余正涛 刘小惠 |
| BookMark | eNo9jz9Lw0AYxm-oYK39EiJuie_l8uYuoxT_QcGle8kluZqgF80h4uYgLpWKi4OIJSDo4CJSxILfxrT1WxipOD3w8ON5-C2Rms50TMgqBZv5nr-e2okx2qYAYDHXEbYD1LMBbWCsRur__SJpGpNIQMo4cibqBMrh-Gs8mNyfl49P08vR5LkoH_rTu4vJ8GXWfy0_3mbF1fTz5rsYzQbv5fXtMllQwYGJm3_ZIJ2tzU5rx2rvbe-2NtpWiIJZQejFEr1IcRHG0g19jq4DfsQYoKvQR8kj4fIYUclIOXHElQQn4o6iDKkE1iBr89nTQKtA97ppdpLr6rCbmrQX_voBVnYVuDIHw_1M946TCj3Kk8MgP-t6nhAVxSn7AdfiZfQ |
| ClassificationCodes | TP18 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2RA 92L CQIGP W92 ~WA 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.3969/j.issn.1000-3428.2016.05.033 |
| DatabaseName | 维普期刊资源整合服务平台 中文科技期刊数据库-CALIS站点 维普中文期刊数据库 中文科技期刊数据库-工程技术 中文科技期刊数据库- 镜像站点 Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering |
| DocumentTitleAlternate | Khmer-English Parallel Web Page Extraction Based on Maximum Entropy Model |
| DocumentTitle_FL | Khmer-English Parallel Web Page Extraction Based on Maximum Entropy Model |
| EndPage | 200 |
| ExternalDocumentID | jsjgc201605033 668860571 |
| GrantInformation_xml | – fundername: 国家自然科学基金资助项目“柬埔寨语命名实体识别及汉柬双语语料库构建方法研究”; 云南省计算机技术应用重点实验室开放基金资助项目“汉柬双语语料库构建及柬埔寨语词法分析方法研究” funderid: (61462055); 云南省计算机技术应用重点实验室开放基金资助项目“汉柬双语语料库构建及柬埔寨语词法分析方法研究” |
| GroupedDBID | -0Y 2B. 2C0 2RA 5XA 5XJ 92H 92I 92L ACGFS ALMA_UNASSIGNED_HOLDINGS CCEZO CQIGP CUBFJ CW9 TCJ TGT U1G U5S W92 ~WA 4A8 93N ABJNI PSX |
| ID | FETCH-LOGICAL-c583-ac6eb56df78ceb4c9754209d33054f595b7d847e55fbdf2ed7fb02d72f1351b03 |
| ISSN | 1000-3428 |
| IngestDate | Thu May 29 04:21:01 EDT 2025 Wed Feb 14 10:18:45 EST 2024 |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 5 |
| Keywords | 平行网页 余弦相似性 Khmer-English 平行语料库 最大熵模型 parallel Web page maximum entropy model cosine similarity parallel corpus 柬埔寨语-英语 |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c583-ac6eb56df78ceb4c9754209d33054f595b7d847e55fbdf2ed7fb02d72f1351b03 |
| Notes | Because of the isomerism and complexity of parallel pages, how to automatically and effectively get the bilingual parallel pages and how to improve the quality of them are key issues for constructing a parallel corpus. Take example for mining Khmer-English parallel pages, maximum entropy model is implemented to improve parallel pages extraction method. It regards the recognition of parallel pages as the classification of candidate pages. The method is used to find candidate pages based on cosine similarity or database query. The maximum entropy model is trained with the features based on page contents and cosine similarity among candidate pages. Parallel pages are recognized by the classifier. In terms of feature selection,not only the feature of structure, vocabulary and HTML Tag,but also document vector similarity computed by TF-IDF algorithm and cosine similarity is used. Experimental results show this method gains a recall rate of 98% and a precision rate of 94% when collecting parallel pages. 31-1289/TP ma |
| PageCount | 7 |
| ParticipantIDs | wanfang_journals_jsjgc201605033 chongqing_primary_668860571 |
| PublicationCentury | 2000 |
| PublicationDate | 2016 |
| PublicationDateYYYYMMDD | 2016-01-01 |
| PublicationDate_xml | – year: 2016 text: 2016 |
| PublicationDecade | 2010 |
| PublicationTitle | 计算机工程 |
| PublicationTitleAlternate | Computer Engineering |
| PublicationTitle_FL | Computer Engineering |
| PublicationYear | 2016 |
| Publisher | 上海师范大学语言研究所,上海200234 云南民族大学东南亚南亚语言文化学院,昆明650500%昆明理工大学信息工程与自动化学院,昆明,650500 云南省计算机技术应用重点实验室,昆明650500 |
| Publisher_xml | – name: 云南省计算机技术应用重点实验室,昆明650500 – name: 上海师范大学语言研究所,上海200234 – name: 云南民族大学东南亚南亚语言文化学院,昆明650500%昆明理工大学信息工程与自动化学院,昆明,650500 |
| SSID | ssib051375738 ssib017479294 ssj0042200 ssib001102934 ssib023646288 |
| Score | 2.0451546 |
| Snippet | 由于平行网站的异构性和复杂性，如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此，应用最大熵模型，将平行网页的识别问题看作候选网页对... TP18; 由于平行网站的异构性和复杂性,如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题.为此,应用最大熵模型,将平行网页的识别问题看作候选网... |
| SourceID | wanfang chongqing |
| SourceType | Aggregation Database Publisher |
| StartPage | 194 |
| SubjectTerms | 余弦相似性 平行网页 平行语料库 最大熵模型 柬埔寨语-英语 |
| Title | 基于最大熵模型的柬英平行网页获取 |
| URI | http://lib.cqvip.com/qk/95200X/201605/668860571.html https://d.wanfangdata.com.cn/periodical/jsjgc201605033 |
| Volume | 42 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVAON databaseName: DOAJ Directory of Open Access Journals issn: 1000-3428 databaseCode: DOA dateStart: 20160101 customDbUrl: isFulltext: true dateEnd: 99991231 titleUrlDefault: https://www.doaj.org/ omitProxy: true ssIdentifier: ssj0042200 providerName: Directory of Open Access Journals |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3NaxQxFA9LBdGD-Im1fvTQnJapszOTr-PMdpYi6GmF3pZJdqalh22120tPHsRLpeLFg4hlQdCDF5EiFvwP_DPcD_8L38tk10GlqJch8_Ley0veTPISkl8IWRI650EgMi83WeBFusG9DGZantaCR1pmmmmcKN69x1fvR3fW2Fqt9rWya2m3r5fN3h_PlfyPV4EGfsVTsv_g2ZlSIEAa_AtP8DA8_8rHNGVUtWgS0zTCp0xpyqlq4vYFyIojGguaCio5TRhmxZLGDSuVUplglgKpyEq1aNykqUR6YnkSRZMQKSAim8icrFAFWQopqFBiiYlAZtmi5Z2x00jXCqa2OIEJJZxtaC1DqZjZLCxx6nanMk6QFxiVP0vUbQoMkLayEtNYER9sqzsSagTjsJ4lCdiVrfcKjUOrAExI6tZgaVWBJT4aD3kypLFfXQUpj2e6LhvPxoeRO2Lu-vQoqHy7rNJBN8orld1YX6Kk_jaMhIorO4xgAcuzAnAjILc4ryV2xy9A3ZxLCZNDBDQ4FeDqUGWCb4NTiOXUTzA-mAoKiE1n74jkj3c_T99ZIxTMguOVcUUUBH6JreHMOU2WnK23T7IUQUM2tnrrDyAUsifTekXWW68EUe3z5Jyb_SzG5ad8gdT2Ni6SsxVMzEvEHx4efzs-GL16NHzzdvzkaPRuMHy9P375eHT4frL_Yfj542TwdPzl-ffB0eTg0_DZi8uk3UrbzVXPXevhGSZDLzM814x3CyFNriOj8A5mX3VDGHmigimmRRdCppyxQneLIO-KAhqnK4ICL5PUfniFzPW2evlVshg0CsO50UYag0B7WnKueCZ9U4iASX-eLMyq3tku0Vs6MzfNk1uuMTrun97pbO5srhtsPIRJCq-dKL9AziBnuR53ncz1H-7mNyBC7eub1vE_AH2Ua5s |
| linkProvider | Directory of Open Access Journals |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E6%9C%80%E5%A4%A7%E7%86%B5%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%9F%AC%E8%8B%B1%E5%B9%B3%E8%A1%8C%E7%BD%91%E9%A1%B5%E8%8E%B7%E5%8F%96&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B&rft.au=%E8%8E%AB%E6%BA%90%E6%BA%90+%E6%BD%98%E4%B8%BD%E5%90%8C+%E4%B8%A5%E9%A6%A8+%E4%BD%99%E6%AD%A3%E6%B6%9B+%E5%88%98%E5%B0%8F%E6%83%A0&rft.date=2016&rft.issn=1000-3428&rft.volume=42&rft.issue=5&rft.spage=194&rft.epage=200&rft_id=info:doi/10.3969%2Fj.issn.1000-3428.2016.05.033&rft.externalDocID=668860571 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fimage.cqvip.com%2Fvip1000%2Fqk%2F95200X%2F95200X.jpg http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fjsjgc%2Fjsjgc.jpg |