热衷于各种主流技术#xff0c;热爱数据科学、机器学习、云计算、人工智能。

通过了TiDB数据库专员#xff08;PCTA#xff09;、TiDB数据库专家#xff08;PCTP…

博主简介

通过了TiDB数据库专员PCTA、TiDB数据库专家PCTP、TiDB数据库认证SQL开发专家PCSD认证。

通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究对Databricks的使用有丰富的经验。

请支持我欢迎大家

《PySpark大数据分析实战》-01.关于数据前言关于数据结束语

大家好今天为大家分享的是《PySpark大数据分析实战》第1章第1节的内容关于数据。

关于数据

随着进入互联网时代我们便进入了一个数据大爆炸的时代。

由于互联网整合资源的能力在不断提高越来越多的社会资源被网络化和数字化数据可以承载的价值在不断提高大数据正在成为整个互联网技术发展的重要动力正在成为企业重要的生产资料之一。

大数据主要呈现出几个层面的特点

1体量大Volume。

普通人日常接触到的数字化信息一本小说、书籍的大小只有几百KB一首MP3歌曲的大小只有几MB一部电影的大小有几百MB到几GB想要存储日常生活、工作中的资料几TB就已经能满足大部分人的需求了。

但是在企业中就不同了电商网站每天的商品交易数据能够达到几十TB社交网站用户每天产生的数据能达到几百TB。

互联网企业的数据已经达到PB、EB甚至ZB级别。

2种类多Variety。

广泛的数据来源决定了大数据种类的多样性任何形式的数据都可以产生作用。

这其中包括存储在关系型数据库中的结构化数据也包括文本、图片、音频、视频等非结构化数据。

3速度快Velocity。

大数据的产生非常迅速这些数据都需要快速及时地处理因为这些海量的数据中大部分数据的价值并不高花费大量的资本去存储这些数据并不划算。

而对于有价值的数据则需要快速地生成分析结果用于指导生产生活实践。

4价值密度低Value。

在这些海量的数据中有价值的数据所占的比例很小并且分散在这些海量的数据中其价值密度远低于传统关系型数据库中已有的数据。

大数据的最大价值在于通过从海量数据中挖掘出对未来趋势与预测分析有价值的数据。

5真实性Veracity。

大数据的真实性由IBM提出认为互联网上留下的都是人类行为的真实电子踪迹能真实地反映人们的行为。

但是人们后来发现互联网的虚拟性和隐匿性导致互联网上存在大量虚假的、错误的数据。

不同领域、不同来源的数据可靠性是有差异的舆情数据的真实性尤其值得考量。

因此这个特点在后来被悄然隐去了。

大数据中存在一定程度的噪声和不确定性在处理和分析时需要考虑数据的真实性和可靠性。

6可视化Visualization。

大数据所面临的数据量大、数据来源多样、数据复杂多变这些都使得人们难以直接了解和处理数据。

因此大数据分析需要注重结果的可视化这也是大数据与传统数据分析不同的一个重要特点。

可视化结果更直观、更易懂、更能形象的解释数据内在联系。

大数据可视化需要呈现出高质量的图形和直观的视觉效果使得数据分析和决策更加精准和有力。

想要从这些海量数据中提取有价值的数据我们必须想方设法好好地存储和分析这些数据。

大数据的基本处理流程主要包括数据采集、存储管理、处理分析、结果呈现等环节。

谷歌作为一个搜索引擎每天要爬取海量的数据因此需要解决数据的存储问题。

数据通常使用硬盘来进行存储一块硬盘的容量总是有限的虽然硬盘的存储容量多年来一直在提升但对于海量的数据依然无法用一块硬盘来存储。

虽然可以提高硬盘的存储容量但更大的容量意味着需要更长的数据读取时间减少数据读取时间的办法是减少一块硬盘上存储的数据量。

当无法用一块硬盘来存储所有数据时我们不必要想方设法打造一块超级硬盘而是应该千方百计综合利用更多的硬盘来进行存储。

每一块硬盘存储一部分数据更多的硬盘一起就可以存储下海量的数据这样不仅能存储海量的数据而且读取数据的时候还可以同时从多块硬盘上读取缩短了读取所有数据需要的时间。

数据存储的问题是有解决方案了但是对于这种存储方案还有更多的问题需要解决当需要读取一个文件的时候需要从哪块硬盘进行读取当遇到一个超大文件以至于一块硬盘都存放不下而被拆分到多块硬盘进行存储需要从哪几块硬盘进行读取才能获得一个完整的文件当某一块硬盘发生故障硬盘上的数据无法读取时如何保证数据不丢失为了满足谷歌迅速增长的数据处理需求谷歌实现了一个谷歌分布式文件系统Google

File

对于爬取回来的海量数据如何呈现给用户这就涉及到海量数据的运算例如需要对数据进行聚合、排序等。

为了解决其搜索引擎中的大规模网页数据的并行化处理谷歌提出了分布式计算模型MapReduce。

MapReduce的灵感来源于函数式编程语言中的内置函数map()和reduce()。

在函数式编程语言中map()函数对集合中的每个元素做计算reduce()函数对集合中的每个元素做迭代。

集合中的元素能够做迭代说明集合中的元素是相关的比如具有相同的数据类型并且reduce()函数的返回值也与集合中的元素具有相同的数据类型。

将map()函数和reduce()函数结合起来就可以理解为map()函数将杂乱无章的原始数据经过计算后得到具有相关性的数据这些数据再由reduce()函数进行迭代得到最终的结果。

在MapReduce计算模型里Map阶段将杂乱无章的原始数据按照某种特征归纳起来Reduce阶段就可以对具有相同特征的数据进行迭代计算得到最终的结果。

在2004年谷歌发表了一篇论文MapReduce:

Simplified

好了感谢大家的关注今天就分享到这里了更多详细内容请阅读原书或持续关注专栏。