在Debian上搭建HDFS集群的完整步骤

一 环境准备与规划

先说说 我们需要准备好一台Debian服务器，蕞好是64位的，这样可依保证HDFS集群的稳定运行，大体上...。

接下来我们需要规划一下集群的架构，包括主节点和从节点的数量，以及它们的具体配置。

二 安装与基础配置

下面是安装HDFS集群的基本步骤：

• 先说说 安装Java环境，主要原因是Hadoop是基于Java的。
• 染后安装Hadoop，并设置环境变量。
• 接着，配置SSH免密登录，以便于集群的节点之间进行通信。
• 再说说配置HDFS的核心参数。

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：source /etc/profile 或 source /etc//

三 SSH免密

• 在每台机器生成密钥：ssh-keygen -t rsa -b 4096
• 在 master 上分发公钥：ssh-copy-id hadoop@node1ssh-copy-id hadoop@node2 …
• 验证：ssh hadoop@node1 无需密码

四 HDFS核心配置

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop

core-site.xml

    
        fs.defaultFS
        hdfs://master:9000
    

hdfs-site.xml

    
        dfs.replication
        3
    
    
        dfs.namenode.name.dir
        file:///opt/hadoop/hdfs/name
    
    
        dfs.datanode.data.dir
        file:///opt/hadoop/hdfs/data
    

五 主机名解析

编辑 /etc/hosts

192.168.1.100 master
192.168.1.101 node1
192.168.1.102 node2

六 目录权限

sudo chown -R hadoop:hadoop /opt/hadoop/hdfs，盘它...

七 启动与验证

hdfs dfs -mkdir -p /user/hadoop hdfs dfs -put $HADOOP_HOME/ /user/hadoop/hdfs hdfs dfs -ls /user/hadoop

八 常见问题排查

• 无法免密SSH：检查 ~/.ssh/authorized_keys 权限为 600
• 端口不通：确认 9000/9870 未被占用且防火墙放行
• 目录权限：确保 /opt/hadoop/hdfs 属主为 hadoop:hadoop
• DataNode 未注册：检查 /etc/hostsSSH、NameNode 与 DataNode 的 一致性 与 可写性

九 与高可用

    
        dfs.replication
        3
    
    
        dfs.namenode.name.dir
        file:///opt/hadoop/hdfs/name
    
    
        dfs.datanode.data.dir
        file:///opt/hadoop/hdfs/data
    

启动：start-dfs.sh

HDFS高可用HA

• 部署 ZooKeeper 集群
• 配置 core-site.xml 与 hdfs-site.xml定义 nameservicesJournalNodesFailover 与 ZKFC
• 初始化与启动 ZKFC格式化 ZooKeeper启动 JournalNode 与 NameNode验证 Active/Standby 切换