大数据,巨量资料,传统数据处理应用软件不足以处理的大或复杂的数据集。
二.大数据的特征数据量大、多样性、高速性、低价值密度
1. 数据量大 2. 多样性各种格式、类型和结构: • 文本、数字、图像、音频、视频、序列、时间序列、社交媒体数据、多维阵列等; • 静态数据与流式数据.
静态数据与流式数据①区别: 静态数据:存储在磁盘中的固定的数据; 流式数据:不断产生的数据,源源不断,不会停止。 ②流式计算的概念 对数据流进行计算,由于数据是不断产生的,所以一直再计算,不会停止。 ③ 流式数据的流式计算有什么特点:
数据是无界的; 数据是动态的; 计算速度是非常快的; 计算不止一次; 计算不能终止。④ 静态数据的离线计算的特点:
数据是有界的; 数据是静态的; 计算速度通常较慢; 计算只执行一次; 计算终会终止。 3. 高速性数据快速生成 / 输入,需要快速处理: • 在线数据分析; • 决策延迟则会错失机会。
4. 低价值密度大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识。
第三讲 农业大数据概述 一.农业大数据的定义农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值,并难以应用通常方法处理和分析的数据集合。
农业大数据之“大”主要是体现在“多维度”上:“涉农”:广泛性和全面性,涵盖农业生产过程的全要素。 “涉业”:涉及产业链全过程的各个方面的数据。
农业领域为什么需要大数据技术?① 提高农业生产效率 ② 改善农业决策 ③ 实现可持续农业发展
二.农业大数据的类型