梅宏1,杜小勇2,金海3,程学旗4,5,柴云鹏2,石宣化3,靳小龙4,5,王亚沙1,刘驰6
1. 高可信软件技术教育部重点实验室(北京大学);
2. 中国人民大学信息学院;
3. 华中科技大学计算机科学与技术学院;
4. 中国科学院计算技术研究所;
5. 中国科学院大学计算机科学与技术学院;
6. 北京理工大学计算机学院
摘要:世界主要国家高度重视大数据发展,我国也将发展大数据作为国家战略,发展大数据技术具有重要意义。大数据技术涉及从采集、传输到管理、处理、分析、应用的全生命周期以及生命周期各阶段的数据治理。选取数据生命周期中的管理、处理和分析技术以及大数据治理技术来梳理国内外技术发展现状,特别是研判我国大数据技术发展与国际先进技术之间的差距。另外,在大数据应用需求的驱动下,计算技术体系正面临重构,从“以计算为中心”向“以数据为中心”转型,在新的计算技术体系下,一系列基础理论和核心技术问题亟待破解,新型大数据系统技术成为重要发展方向。在计算体系重构的背景下,提出大数据技术发展的四大技术挑战和十大发展趋势。
关键词:大数据技术;大数据管理;大数据处理;大数据分析;大数据治理
论文引用格式:
梅宏, 杜小勇, 金海, 等. 大数据技术前瞻[J]. 大数据,2023, 9(1): 1-20.
MEI H, DU X Y, JIN H, et al. Big data technologies forward-looking[J]. Big Data Research, 2023, 9(1): 1-20.
0 引言世界主要国家高度重视大数据发展,我国也将发展大数据作为国家战略。2015年8月,国务院印发了《促进大数据发展行动纲要》(国发〔2015〕50号),明确提出"数据已成为国家基础性战略资源"。2016年3月,《中华人民共和国国民经济和社会发展第十三个五年规划纲要》正式提出“实施国家大数据战略"。2017年10月,党的十九大报告中提出加快推进大数据与实体经济深度融合发展。2017年12月8日,在中共中央政治局第二次集体学习时,习近平总书记发表讲话,做出了“大数据是信息化发展的新阶段”这一重要论断,要求“审时度势精心谋划超前布局力争主动,实施国家大数据战略,加快建设数字中国"。党的二十大报告指出数字技术与实体经济深度融合具有重大意义。
大数据技术链条长,从采集、传输到管理、处理、分析、应用,形成一个完整的数据生命周期,同时在多个阶段涉及数据治理。由于数据采集用到的传感器技术和数据传输依赖的通信技术分别属于基础器件和通信学科领域,