大数据和Hadoop简介

通过现实生活的例子，我们看到组织如何利用Hadoop获得洞察、做出明智决策并推动创新。

大数据和Hadoop简介

组件简化描述Hadoop分布式文件系统（HDFS）Hadoop的主要存储系统，处理大量数据并提供容错能力。

MapReduceHadoop的处理框架，用于实现并行和分布式数据处理。

资源协调器

(YARN)Hadoop的资源管理和作业调度框架，负责资源分配。

Hadoop通用模块包含支持Hadoop生态系统的库和工具。

Hadoop生态系统工具包括增强Hadoop功能的工具和框架，如Apache

Hive,

Spark等。

Hadoop分布式文件系统（HDFS）：HDFS是Hadoop的主要存储系统。

它设计用于处理大量数据，并通过在集群中的多台机器之间复制数据来提供容错能力。

MapReduce：MapReduce是Hadoop的处理框架。

它通过分布式处理数据来实现并行计算。

通过将任务分解为映射和归纳阶段，Hadoop使得并行和分布式数据处理成为可能，这些阶段在整个集群中执行。

资源协调器

(YARN)：YARN是Hadoop的资源管理和作业调度框架。

它管理集群资源并将其分配给不同的应用程序，包括MapReduce作业。

Hadoop通用模块：Hadoop通用模块包含其他Hadoop组件使用的库和实用工具。

它提供一套通用的功能，支持整个生态系统。

Hadoop生态系统工具：包括各种增强其功能的工具和框架。

例如，用于类似SQL查询的Apache

Hadoop分布式文件系统（HDFS）

架构和概念描述HDFS架构NameNodeHDFS的中央协调节点，管理文件系统的元数据。

DataNodes存储和管理HDFS中的实际数据块。

数据存储概念数据块大文件被分成的固定大小的块，独立存储并可分布在集群中。

复制保证数据块的多次复制，确保容错性和数据可靠性。

机架感知根据DataNode接近程度分组，优化数据本地性和网络性能。

HDFS可靠性和容错数据复制在多节点间复制数据块，提供容错性。

心跳和块报告数据节点更新NameNode，保持最新的集群数据视图。

块恢复在数据损坏或丢失时，HDFS会自动创建新的副本进行恢复。

架构

Hadoop分布式文件系统

(HDFS)：HDFS为大数据提供可靠和可扩展的存储。

HDFS将大型数据集拆分为较小的块，并将它们分布在Hadoop集群的多台机器上。

这种分布方式可以实现并行处理和容错性。

HDFS采用主从架构，其中NameNode充当中央协调器，DataNodes充当工作节点。

NameNode：NameNode是HDFS中的中央协调节点。

它管理文件系统的命名空间，并记录数据块在集群中的存储位置。

NameNode维护有关文件的元数据，如文件名、目录结构和块位置。

DataNodes：DataNodes是HDFS中存储实际数据块的工作节点。

它们负责存储、检索和复制数据块，按照NameNode的指示执行。

DataNodes还执行数据完整性检查，并向NameNode报告其状态。

数据存储概念

256MB。

每个块都是独立的存储单元，并可以分布在集群中的不同

DataNode

上。

这种复制允许在节点故障或数据损坏的情况下进行数据恢复。

NameNode

机架感知：HDFS

之间的接近程度将其分组到机架中。

机架感知通过在不同机架上存储副本，帮助优化数据本地性，减少网络流量并提高数据访问性能。

数据复制：通过在多个数据节点之间复制数据块，HDFS提供容错性。

如果一个数据节点不可用或一个块损坏，可以使用其他数据节点上的副本来检索数据。