文章目录 大数据导论第1章 大数据概述 数据类型、数据组织形式、数据的使用数据类型 数据组织形式 数据的使用 大数据的概念(4V)科学研究四种范式 第2章 大数据与云计算、物联网、人工智能 云计算概念、云计算服务模式和类型五个特征 四个部署模型 服务模式 大数据系统与云安全、云安全及其关键技术物联网概念、物联网三要素、物联网层次架构大数据与云计算、物联网的关系人工智能概念、人工智能关键技术大数据与人工智能的关系 第3章 大数据技术 大数据技术的不同层面及其功能传统的数据采集与大数据采集的区别互联网爬虫基本架构、爬取策略ETL概念数据清洗的主要内容大数据时代的数据存储和管理技术数据挖掘和机器学习算法、深度学习概念和应用领域大数据处理分析技术类型及解决的主要问题数据可视化概念数据安全技术 第4、5、6章 大数据应用、大数据安全、大数据思维 推荐系统、推荐方法、推荐系统大数据应用领域大数据安全与传统数据安全的不同大数据思维方式 第9章 Hadoop、HDFS、MapReduce、Hive、Spark简介 Hadoop的特性、项目结构HDFS相关概念、体系结构、数据存取策略、数据错误与恢复相关概念 HDFS体系结构 数据存取策略 数据错误与恢复 HDFS如何减轻名称节点的负担MapReduce相较于传统并行计算框架的优势MapReduce体系结构、应用程序执行过程体系结构 MapReduce应用程序执行过程 数据仓库概念、 Hive特点Hive与Hadoop生态系统中其他组件的关系Spark特点、Spark基本概念Spark与Hadoop的对比、Spark RDDSpark RDD 大数据导论 第1章 大数据概述 数据类型、数据组织形式、数据的使用 数据类型 类型含义本质举例技术结构化数据直接可以用传统关系数据库存储和管理的数据先有结构，后有管理数字、符号、表格SQL非结构化数据无法用传统关系数据库存储和管理的数据难以发现同一的结构语音、图像、文本NoSQL,NewSQL,云技术半结构化数据经过转换用传统关系数据库存储和管理的数据先有数据，后有结构HTML、XMLRDF、OWL 数据组织形式 计算机系统中的数据组织形式主要有两种，即文件和数据库。
文件：计算机系统中的很多数据都是以文件形式存在的，比如一个WORD文件、一个文