准备工作

在Linux下搭建Hadoop集群环境，先说说你需要准备两台Linux虚拟机。一台作为主节点，再说一个一台或几台作为从节点。 我好了。 确保你的虚拟机以经安装了必要的软件，比如SSH服务、Java等。

下载与安装Hadoop

访问Apache Hadoop官网下载蕞新版本的Hadoop，并解压到主节点上，恳请大家...。

sudo wget https://www.apache.org/dyn/closer.cgi?path=/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
sudo tar -zxvf hadoop-3.3.1.tar.gz -C /opt/hadoop

配置环境变量

编辑/etc/profile或~/.bashrc文件， 添加以下内容：，啥玩意儿？

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile

配置Hadoop集群

配置core-site.xml

编辑$HADOOP_HOME/etc/hadoop/core-site.xml添加以下配置：，内卷...

    
        fs.defaultFS
        hdfs://master:9000
    

配置hdfs-site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        /opt/hadoop/hdfs/namenode
    
    
        dfs.datanode.data.dir
        /opt/hadoop/hdfs/datanode
    

配置yarn-site.xml

    
        yarn.resourcemanager.hostname
        master
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
        mapreduce.framework.name
        yarn
    

同步配置文件

将配置文件同步到所you节点。可依使用scp命令或配置管理工具，换言之...。

scp -r $HADOOP_HOME/etc/hadoop/* hadoop@slave1:/opt/hadoop/etc/hadoop/
scp -r $HADOOP_HOME/etc/hadoop/* hadoop@slave2:/opt/hadoop/etc/hadoop/

格式化HDFS

在NameNode节点上施行格式化命令：

hdfs namenode -format

启动Hadoop集群

启动NameNode和SecondaryNameNode

start-dfs.sh

启动ResourceManager和NodeManager

在ResourceManager节点上施行：

yarn-daemon.sh start resourcemanager

验证集群状态

访问ResourceManager Web界面查堪集群状态。

监控和日志

配置Hadoop的监控和日志系统， 如Ganglia、Promeus等，以便实时监控集群状态，一言难尽。。