一、 环境准备

在开始之前，确保您的CentOS系统满足以下要求：

• 操作系统：CentOS 6.5或更高版本
• Java开发包：Java 8或更高版本
• 网络配置：确保网络连接稳定，并配置好主机名和IP地址

二、安装Hadoop

1. 下载Hadoop 2.6.4版本的安装包。

2. 解压安装包到指定目录， 比方说：

tar -zxvf hadoop-2.6.4.tar.gz -C /opt/hadoop

3. 配置环境变量，编辑~/.bash_profile文件：

export HADOOP_HOME=/opt/hadoop/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 使环境变量生效：

source ~/.bash_profile

三、配置HDFS

1. 修改hdfs-site.xml文件，配置HDFS的存储路径：

  dfs.replication
  3


  dfs.namenode.name.dir
  file:///opt/hadoop/hadoop-2.6.4/hdfs/namenode


  dfs.datanode.data.dir
  file:///opt/hadoop/hadoop-2.6.4/hdfs/datanode

2. 格式化HDFS：

hdfs namenode -format

四、配置YARN

1. 修改yarn-site.xml文件，配置YARN的 ResourceManager 和 NodeManager 的运行目录：

  yarn.nodemanager.local-dirs
  file:///opt/hadoop/hadoop-2.6.4/yarn/local


  yarn.nodemanager.log-dirs
  file:///opt/hadoop/hadoop-2.6.4/yarn/log

五、启动Hadoop集群

1. 启动HDFS：

start-dfs.sh

2. 启动YARN：

start-yarn.sh

六、验证集成

1. 访问HDFS Web界面：http://:50070

2. 访问YARN Web界面：http://:8088

七、常见问题及解决方案

1. 问题：无法启动HDFS或YARN。

解决方案：检查配置文件是否正确，确保网络连接正常，尝试重新启动服务。

2. 问题：HDFS或YARN服务启动后Web界面无法访问。

解决方案：检查防火墙规则，确保端口50070和8088未被阻止。

通过以上步骤，您已经在CentOS上成功安装和配置了HDFS与YARN，并使它们高效协同工作。在实际应用中，请根据您的需求进行相应的调整和优化。

---