。

如果出现故障#xff0c;如机器崩溃或机器需要升级维护#xff0c;这时可通过此种…前言

本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用HDFS的高可用功能是通过配置多个

NameNodes(Active/Standby)实现在集群中对

NameNode

的热备来解决上述问题。

如果出现故障如机器崩溃或机器需要升级维护这时可通过此种方式将

NameNode很快的切换到另外一台机器并通过JournalNode实现主备节点的数据同步。

集群规划

清除hadoop集群下的data和logshadoop102和hadoop103同上步骤

在/opt/module/hadoop-3.1.3/etc/hadoop

--propertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.1.3/data/value/property

/configuration在/opt/module/hadoop-3.1.3/etc/hadoop

--propertynamedfs.namenode.name.dir/namevaluefile://${hadoop.tmp.dir}/nn/value/property!--

DataNode

--propertynamedfs.journalnode.edits.dir/namevalue${hadoop.tmp.dir}/jn/value/property!--

完全分布式集群名称

--propertynamedfs.nameservices/namevaluemycluster/value/property!--

集群中

--propertynamedfs.ha.namenodes.mycluster/namevaluenn1,nn2,nn3/value/property!--

NameNode

--propertynamedfs.namenode.rpc-address.mycluster.nn1/namevaluehadoop101:8020/value/propertypropertynamedfs.namenode.rpc-address.mycluster.nn2/namevaluehadoop102:8020/value/propertypropertynamedfs.namenode.rpc-address.mycluster.nn3/namevaluehadoop103:8020/value/property!--

NameNode

--propertynamedfs.namenode.http-address.mycluster.nn1/namevaluehadoop101:9870/value/propertypropertynamedfs.namenode.http-address.mycluster.nn2/namevaluehadoop102:9870/value/propertypropertynamedfs.namenode.http-address.mycluster.nn3/namevaluehadoop103:9870/value/property!--

NameNode

--propertynamedfs.namenode.shared.edits.dir/namevalueqjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster/value/property!--

访问代理类client

--propertynamedfs.client.failover.proxy.provider.mycluster/namevalueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value/property!--

--propertynamedfs.ha.fencing.methods/namevaluesshfence/value/property!--

使用隔离机制时需要

秘钥登录--propertynamedfs.ha.fencing.ssh.private-key-files/namevalue/home/hadoop/.ssh/id_rsa/value/property

/configuration分发配置文件到其它hadoop集群服务器

启动hadoop集群的journalnode服务用于同步namenode数据

命令hdfs

在hadoop102与hadoop103上面执行以下命令同步hadoop101的元数据信息

命令hdfs

启动hadoop102与hadoop103的namenode服务

命令hdfs

如果namenode挂机之后想直接故障转移把其它节点升级为namenode主节点是不行的必须先将挂机的namenode重新启动才行手动模式必须保证所有namenode节点必须是存活状态

在有active状态下的namenode节点是无法切换其它节点为active节点

hadoop高可用之HDFS手动模式高可用内容到这里就结束了我们下期见。

。

。

。

。

。