面向Storm的数据流编程模型与编译优化方法研究
数据流编程模型将程序的计算与通信分离，暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题，但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题，设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块：面向Storm的层次性任务划分与调度，以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构...
Saved in:
| Published in | 计算机工程与科学 Vol. 38; no. 12; pp. 2409 - 2418 |
|---|---|
| Main Author | |
| Format | Journal Article |
| Language | Chinese |
| Published |
华中科技大学网络与计算中心,湖北武汉,430074
2016
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 1007-130X |
| DOI | 10.3969/j.issn.1007-130X.2016.12.005 |
Cover
| Abstract | 数据流编程模型将程序的计算与通信分离，暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题，但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题，设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块：面向Storm的层次性任务划分与调度，以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水，并生成相应的目标代码。实验以多核集群为目标平台，在集群上搭建Storm分布式架构，选取数字媒体处理领域典型程序作为测试程序，对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。 |
|---|---|
| AbstractList | TP311.52; 数据流编程模型将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度.分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战.针对数据流程序在分布式架构下所面临的问题,设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架.框架包括两个模块:面向Storm的层次性任务划分与调度,以及面向Storm的层次性软件流水与代码生成.层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上.层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水,并生成相应的目标代码.实验以多核集群为目标平台,在集群上搭建Storm分布式架构,选取数字媒体处理领域典型程序作为测试程序,对面向Storm的编译优化后的程序进行实验分析.实验结果表明了结合方法的有效性. 数据流编程模型将程序的计算与通信分离，暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题，但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题，设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块：面向Storm的层次性任务划分与调度，以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水，并生成相应的目标代码。实验以多核集群为目标平台，在集群上搭建Storm分布式架构，选取数字媒体处理领域典型程序作为测试程序，对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。 |
| Author | 杨秋吉 于俊清 莫斌生 何云峰 |
| AuthorAffiliation | 华中科技大学网络与计算中心,湖北武汉430074 |
| AuthorAffiliation_xml | – name: 华中科技大学网络与计算中心,湖北武汉,430074 |
| Author_FL | YU Jun-qing MO Bin-sheng HE Yun-feng YANG Qiu-ji |
| Author_FL_xml | – sequence: 1 fullname: YANG Qiu-ji – sequence: 2 fullname: YU Jun-qing – sequence: 3 fullname: MO Bin-sheng – sequence: 4 fullname: HE Yun-feng |
| Author_xml | – sequence: 1 fullname: 杨秋吉 于俊清 莫斌生 何云峰 |
| BookMark | eNo9j81Kw0AUhWdRwVr7EuLGReLcmcwk2QhS_IOCi7pwV5IwUxPtRBNFuxTcVcWCLSIo6qpuVBBFoY_TJvoWjlRcHc7lO-dyplBBxUogNAvYpC535yMzTFNlAsa2ARRvmgQDN4GYGLMCKv7fJ1E5TUMfY864w2woooXvm4fRRae2HyfN_Pok675kZ0_Z23E-6OX9dta_H922hx_n2n49d4aDq9FpL-t9Zq_d_O4yf3yfRhPS20lF-U9LqLa8tFFZNarrK2uVxaoRcGAGwzgA4gZSOD5zhaTc832ulTHHcwLKJdgcCBGCgmUxqjPEsggwV4IUhJbQ3Lj10FPSU416FB8kSv-rR2nUCFrbR797gei1mp0Zs8FWrBp7oaZ3k7DpJa06t7HjWGDZ9AdKaG6d |
| ClassificationCodes | TP311.52 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2RA 92L CQIGP W92 ~WA 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.3969/j.issn.1007-130X.2016.12.005 |
| DatabaseName | 维普_期刊 中文科技期刊数据库-CALIS站点 中文科技期刊数据库-7.0平台 中文科技期刊数据库-工程技术 中文科技期刊数据库- 镜像站点 Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| DocumentTitleAlternate | A data flow programming model and compiler optimization for Storm |
| DocumentTitle_FL | A data flow programming model and compiler optimization for Storm |
| EndPage | 2418 |
| ExternalDocumentID | jsjgcykx201612005 670884147 |
| GrantInformation_xml | – fundername: 国家重点研发计划; 国家自然科学基金 funderid: (2016YFB1000204); (61572211) |
| GroupedDBID | 2RA 92L ALMA_UNASSIGNED_HOLDINGS CDYEO CQIGP W92 ~WA 2B. 4A8 92I 93N PSX TCJ |
| ID | FETCH-LOGICAL-c615-500c129cfe8b59ef36abb6ef3558a8c36f176122ee3144536152442159f1fe23 |
| ISSN | 1007-130X |
| IngestDate | Thu May 29 04:04:00 EDT 2025 Wed Feb 14 10:05:46 EST 2024 |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 12 |
| Keywords | pipeline muti-core cluster 数据流编程 编译 多核集群 COStream 流水线 data flow programming compiler |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c615-500c129cfe8b59ef36abb6ef3558a8c36f176122ee3144536152442159f1fe23 |
| Notes | YANG Qiu-ji, YU Jun-qing, MO Bin-sheng, HE Yun-feng （Center of Network and Computation, Huazhong University of Science and Technology,Wuhan 430074,China） 43-1258/TP As a domain specific programming model, data flow programming combines the features of media applications and programming languages and offers an attractive way to express the parallelism. However, the hierarchical storage structure of the multi-core cluster architecture incurs new challenges to the performance of data flow applications. Besides, the programmability remains a significant challenge for the compiler. Aiming at the problems the data flow programming model facing in processing the big data of digital media field, we design and implement an integration of a data flow programming model and a distributed computing framework, and propose a compiler optimization framework for Storm based on COStream. The compiler optimization method for Storm includes two steps, hierarchical task partition and scheduling for Storm, and pipeline scheduler and |
| PageCount | 10 |
| ParticipantIDs | wanfang_journals_jsjgcykx201612005 chongqing_primary_670884147 |
| PublicationCentury | 2000 |
| PublicationDate | 2016 |
| PublicationDateYYYYMMDD | 2016-01-01 |
| PublicationDate_xml | – year: 2016 text: 2016 |
| PublicationDecade | 2010 |
| PublicationTitle | 计算机工程与科学 |
| PublicationTitleAlternate | Computer Engineering ＆ Science |
| PublicationTitle_FL | Computer Engineering and Science |
| PublicationYear | 2016 |
| Publisher | 华中科技大学网络与计算中心,湖北武汉,430074 |
| Publisher_xml | – name: 华中科技大学网络与计算中心,湖北武汉,430074 |
| SSID | ssib006568571 ssib017479296 ssib001050383 ssib015938883 ssib001102936 ssib051375740 ssib023646326 ssib036438059 ssib000459496 |
| Score | 2.0476036 |
| Snippet | 数据流编程模型将程序的计算与通信分离，暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题，但多核集群层次性... TP311.52; 数据流编程模型将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度.分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但多核集... |
| SourceID | wanfang chongqing |
| SourceType | Aggregation Database Publisher |
| StartPage | 2409 |
| SubjectTerms | COStream 多核集群 数据流编程 流水线 编译 |
| Title | 面向Storm的数据流编程模型与编译优化方法研究 |
| URI | http://lib.cqvip.com/qk/94293X/201612/670884147.html https://d.wanfangdata.com.cn/periodical/jsjgcykx201612005 |
| Volume | 38 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVEBS databaseName: Inspec with Full Text issn: 1007-130X databaseCode: ADMLS dateStart: 20130501 customDbUrl: isFulltext: true dateEnd: 99991231 titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text omitProxy: false ssIdentifier: ssib015938883 providerName: EBSCOhost |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3Na9RAFA-1BfEiioq1KkWc49Yk85GZi5B0sxSxXrZCb8smm7RU3KptQXsTvFXFgi0iKOqpXlQQRaEn_5Z2V_8L33tJNyMtUr1k3868vM8k83tDZuI4l3FXT56ppAaVl8YCxa8lMmjXeMIzGGB1ktLXGqZvqKmb4tqsnB068sN6a2llOZlIVw9cV_I_WYU2yCuukv2HzA6EQgPQkF84QobheKgcs9gwU2ehz2LJjMuM14QS-jaLA2ZCpgWLFTOSRS4SGhhjJCIJ8BF5oklmFBKhZjrCLiBCj4TF1CJYBF2xxQwMDdBDXdCikVkXXQqPkSEVHPWiZDBKEGFYpGwkTKJiUhcgYQKSMMmiEGVG0Cgt2yxLwoAMkCwEjwYTi3R2HdkLFjyJgqJNxSJQOkoBosF0SLaCXFmxkJYwKt0B1zCYgpnGH1Lq5B-JK2wBjyPXnkIp1nbS5U4xqu_p1Wh35YZCM7RL_ghs3HOMgl4nHiAiDE0Vhf2xG0iW5BqHe4e8M5SbIkkU4lI4dHkQG2ATHBGeNTrhvDKAjll7-OLavk19ezASrrGADWA1fdCgyY0yNGiijomBDnztUdFUuSsrsDB4hXNhaWEufXDrPnJ5xTbCI34AaG_YGQnr09ebdtFghLWpo0dbENmruV3AnFU_VBhaVkUK4G2udcUPJXQAmH7Aj19AUFYRAn-5tooG6fFABsXK6D3fjuJDihy_8je3cb-V-cXu3F1AkbSor5u3u3MW_pw54RwvC8fxsHgKnHSGVudPOVd_vXq3-2yd7vr-y0e9jU-9Jx96Xx72tzf7W2u9rbe7r9d2vj2Fvz8_ru9sv9h9vNnb_N77vNF_87z__utpp9mIZyanauUXUWopVB416bop4PM0z3QiTZZz1U4SBb9S6rZOucq9AJLhZxn3hJAczgH0DqDe5F6e-fyMM9xd7GZnnfG07XcSL-90XC8TfpAanZtc-blK0sxXHX_UGRt43rpT7HvTUgFAEuGJYNS5VMaiVT4Nl1r7rodzh2Eac44hXcxpnneGl--tZBcA5S8nF8vL6DeCE7zF |
| linkProvider | EBSCOhost |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E9%9D%A2%E5%90%91Storm%E7%9A%84%E6%95%B0%E6%8D%AE%E6%B5%81%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B%E4%B8%8E%E7%BC%96%E8%AF%91%E4%BC%98%E5%8C%96%E6%96%B9%E6%B3%95%E7%A0%94%E7%A9%B6&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B%E4%B8%8E%E7%A7%91%E5%AD%A6&rft.au=%E6%9D%A8%E7%A7%8B%E5%90%89&rft.au=%E4%BA%8E%E4%BF%8A%E6%B8%85&rft.au=%E8%8E%AB%E6%96%8C%E7%94%9F&rft.au=%E4%BD%95%E4%BA%91%E5%B3%B0&rft.date=2016&rft.pub=%E5%8D%8E%E4%B8%AD%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%AE%A1%E7%AE%97%E4%B8%AD%E5%BF%83%2C%E6%B9%96%E5%8C%97%E6%AD%A6%E6%B1%89%2C430074&rft.issn=1007-130X&rft.volume=38&rft.issue=12&rft.spage=2409&rft.epage=2418&rft_id=info:doi/10.3969%2Fj.issn.1007-130X.2016.12.005&rft.externalDocID=jsjgcykx201612005 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fimage.cqvip.com%2Fvip1000%2Fqk%2F94293X%2F94293X.jpg http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fjsjgcykx%2Fjsjgcykx.jpg |