一、 HDFS高大可用性的关键性

数据的稳稳当当性和可靠性至关关键呃。HDFS作为Hadoop生态系统的核心组件，给了高大可靠、高大容错的巨大数据存储解决方案。配置HDFS的高大可用性， 意味着在主NameNode故障时备用NameNode能够迅速接管，确保数据处理的连续性和稳稳当当性。

二、 配置前的准备干活

在配置HDFS高大可用性之前，确保以下准备干活已完成：

• 安装CentOS操作系统。
• 安装Java 8或更高大版本的Java运行周围。
• 安装并配置Zookeeper集群。
• 安装Hadoop并设置周围变量。

三、 配置HDFS

3.1 格式化NameNode

在主NameNode节点上施行以下命令格式化NameNode：

$HADOOP_HOME/sbin/hdfs namenode -format

3.2 同步NameNode元数据

在主NameNode节点上施行以下命令同步元数据到JournalNode：

$HADOOP_HOME/sbin/hdfs namenode -initializeSharedEdits

3.3 配置hdfs-site.xml

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下配置：

    
        dfs.replication
        3
    
    
        dfs.namenode.shared.edits.dir
        qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster
    
    
        dfs.namenode.edits.dir
        /var/hadoop/hdfs/journal
    

3.4 配置core-site.xml

    
        fs.defaultFS
        hdfs://mycluster
    
    
        hadoop.tmp.dir
        /var/hadoop/hdfs
    

四、配置YARN

4.1 配置yarn-site.xml

    
        yarn.resourcemanager.ha.enabled
        true
    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    
    
        yarn.resourcemanager.zk-address
        zk1:2181,zk2:2181,zk3:2181
    
    
        yarn.resourcemanager.address
        rm1:8030
    
    
        yarn.resourcemanager.webapp.address
        rm1:8088
    

五、配置Zookeeper

5.1 启动Zookeeper集群

确保Zookeeper集群已经启动并运行。你能用以下命令启动Zookeeper：

zkServer.sh start

六、 启动HDFS和YARN服务

6.1 启动NameNode

在主NameNode节点上启动NameNode服务：

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

6.2 启动ResourceManager

在ResourceManager节点上启动ResourceManager服务：

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

6.3 启动JournalNode

在全部JournalNode节点上启动JournalNode服务：

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

七、验证配置

配置是不是正确。

URL格式：http://rm1:8088/ 或 http://mycluster:50070/

在CentOS上配置HDFS高大可用性是一个麻烦的过程，需要考虑优良几个因素。本文给了详细的步骤和配置示例，希望能帮你成功搭建HDFS高大可用集群。在配置过程中，注意检查每一步的配置项，确保配置正确无误。

---