一、添加新节点到Hadoop集群

• 在新的服务器上安装与现有集群相同的Hadoop版本。
• 配置网络，确保新节点可以与集群中的其他节点通信。
• 通过SSH无密码登录到新节点，以简化后续操作。

1. 加入HDFS集群

• 在主节点的slaves文件中添加新节点的主机名， 并刷新节点列表：

  hdfs dfsadmin -refreshNodes

• 在新节点上启动DataNode服务：

  $HADOOP_HOME/sbin/hadoop-start datanode

• 验证新节点是否加入：通过hdfs dfsadmin -report查看DataNode状态，或访问NameNode Web界面。

2. 加入YARN集群

• 在新节点上启动NodeManager服务：

  $HADOOP_HOME/sbin/yarn-start nodemanager

• 验证YARN节点状态：访问ResourceManager Web界面。

二、 调整资源配置

• 修改YARN资源编辑yarn-调整-mb和-vcores然后重启YARN服务。
• 调整MapReduce资源在提交任务时通过参数指定资源，如-=4096。

三、 注意事项

• 数据均衡添加新节点后可使用hdfs balancer命令手动触发数据块重新分布，避免数据倾斜。
• 配置一致性确保所有节点的配置文件同步，特别是core-中的和hdfs-中的。
• 防火墙与网络开放集群节点间的通信端口，避免因网络问题导致节点无法加入。

四、 工具与自动化

• 可使用Ambari等工具通过Web界面管理集群 ，简化配置流程。
• 编写自动化脚本批量添加节点，提升效率。

参考来源

Hadoop在Linux上 集群主要有添加新节点和调整资源配置两种方式，具体步骤如下：

将包放到opt下:

cp hadoop-2.7.2.tar.gz /opt/

cp jdk-8u111-linux-x64.rpm /opt/

进入opt:

cd /opt/

查看opt下的文件:

ll

---