一、 环境准备

先说说我们需要准备一个CentOS系统，染后进行以下步骤：

• 1. 在虚拟机中安装CentOS系统。
• 2. 在CentOS下设置SSH服务，实现无密码登录。
• 3. 在CentOS下安装JDK，并配置环境变量。
• 4. 在CentOS下安装Hadoop， 具体步骤如下：

二、安装与目录规划

这里我们以Hadoop 3.3.4版本为例， 下载Hadoop 3.3.4安装包。 将安装包上传到CentOS服务器。 解压安装包到指定目录， 比方说： tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/ 配置Hadoop环境变量： vi /etc/profile 在文件末尾添加以下内容： export HADOOP_HOME=/opt/module/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin 使环境变量生效： source /etc/profile 创建Hadoop目录结构： hadoop fs -mkdir -p /opt/module/hadoop/data/dfs/name hadoop fs -mkdir -p /opt/module/hadoop/data/dfs/data 三、伪分布式配置与启动 接下来我们需要配置Hadoop的伪分布式环境，并启动Hadoop服务，换位思考...。 编辑Hadoop配置文件： vi /opt/module/hadoop-3.3.4/etc/hadoop/hadoop-env.sh 在文件中添加以下内容： JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64 编辑HDFS配置文件： vi /opt/module/hadoop-3.3.4/etc/hadoop/core-site.xml 在文件中添加以下内容： fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /opt/module/hadoop/data 编辑HDFS名称节点配置文件： vi /opt/module/hadoop-3.3.4/etc/hadoop/hdfs-site.xml 在文件中添加以下内容： dfs.replication 1 dfs.namenode.name.dir /opt/module/hadoop/data/dfs/name dfs.datanode.data.dir /opt/module/hadoop/data/dfs/data 编辑MapReduce配置文件： vi /opt/module/hadoop-3.3.4/etc/hadoop/mapred-site.xml 在文件中添加以下内容： mapreduce.framework.name yarn 编辑YARN配置文件： vi /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml 在文件中添加以下内容： yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.host localhost 四、 嗐... 格式化 HDFS 并启动 完成配置后我们需要格式化HDFS并启动Hadoop服务，不错。。 格式化HDFS： hdfs namenode -format 启动HDFS服务： start-dfs.sh 启动YARN服务： start-yarn.sh 五、 验证 启动完成后我们可依同过以下方式验证Hadoop服务是否正常运行： 查堪进程： jps 应堪到以下进程： NameNode、DataNode、ResourceManager、NodeManager 访问HDFS Web UI： 访问YARN Web UI： 如无法访问，请检查firewalld/SELinux与监听地址绑定。 六、 常见问题与排查 在安装和使用Hadoop过程中，可嫩会遇到以下问题： 问题 原因 解决方法 Hadoop服务无法启动 配置文件错误或环境变量未设置 检查配置文件和设置环境变量 无法访问HDFS Web UI或YARN Web UI 防火墙或SELinux阻止访问 调整防火墙规则或关闭SELinux 数据无法写入HDFS HDFS空间不足 HDFS空间或清理数据