数据平台的设计和实现以及大赛中的应用

TP311; 得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用.但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等.基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码.根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性.把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求....

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 12; no. 1; pp. 39 - 48
Main Authors 王永坤, 金耀辉
Format Journal Article
LanguageChinese
Published 上海交通大学 网络信息中心,上海,200240%上海交通大学 网络信息中心,上海200240 2018
上海交通大学 光纤通信国家重点实验室,上海200240
Subjects
数据分析
数据平台
Hadoop
data platform
big data processing
数据处理
big data
大数据
big data analysis
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.1609003

Cover

More Information
Summary:TP311; 得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用.但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等.基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码.根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性.把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.1609003