差点意思。 Hadoop 作为一种强大的分布式计算框架，被广泛应用于各种数据存储和处理任务。只是Hadoop 的性嫩彳艮大程度上取决于网络配置。本文将为您详细介绍如何在 Ubuntu 系统上配置 Hadoop 的网络参数，帮助您轻松实现集群的高效稳定运行。

一、 基础网络与主机名解析

1. 配置网络接口

先说说我们需要确保网络接口以正确配置。

network:  ernets:    ens33:      dhcp4: false      addresses:       routes:        - to: default          via: 192.168.5.2      nameservers:        addresses:   version: 2

应用：sudo netplan apply主机名与 hosts 映射设置主机名：sudo hostnamectl set-hostname master/etc/hosts 示例：192.168.5.11 master192.168.5.12 slave1192.168.5.13 slave2验证：ping -c 3 masterping -c 3 slave1确保解析与连通正常，靠谱。。

2. 验证网络连通性

使用 ping 命令测试节点间网络是否畅通：

ping -c 3 master

ping -c 3 slave1

二、 Hadoop 关键网络参数配置

1. core-site.xml

进入 Hadoop 安装目录的 etc/hadoop 子目录，修改以下关键配置文件：，摸鱼。

• 配置 HDFS 默认文件系统和 Hadoop 集群基本设置

fs.defaultFS

hdfs://namenode:9000

hadoop.tmp.dir

/path/to/hadoop-tmp

 sudo firewall-cmd --permanent --zone=public --add-port=8020/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp
sudo firewall-cmd --permanent --zone=public --add-port=8032/tcp
sudo firewall-cmd --reload

ssh-keygen -t rsa -b 2048
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

确保 NameNode/ResourceManager 与 DataNode/NodeManager 之间的端口与免密通道畅通。

  
    
    hdfs://master:8020
  
  
    
    60000
  

  
    
    3
  
  
    
    100
  
  
    
    100
  
  
    -address
    master:8020
  
  
    -hostname-check
    true
  

  
    
    master
  
  
    -services
    mapreduce_shuffle
  
  
    -
    
  

  
    
    yarn
  

slave1
slave2

提示：端口如 8020/50010 为常见默认， 若与系统或平安策略冲突，请统一调整并同步到防火墙放行规则。

_max = 16777216_max = 16777216_rmem = 4096 87380 16777216_wmem = 4096 65536 16777216_local_port_range = 1024 65535 = 65535

sudo sysctl -p

ulimit -n 65535

sudo vi /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

说明：上述优化有助于提升 HDFS 传输与 YARN 调度在高并发下的稳定性与吞吐。

ssh-keygen -t rsa -b 2048
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

确保 NameNode/ResourceManager 与 DataNode/NodeManager 之间的端口与免密通道畅通。

  
    
    hdfs://master:8020
  
  
    
    60000
  

  
    
    3
  
  
    
    100
  
  
    
    100
  
  
    -address
    master:8020
  
  
    -hostname-check
    true
  

  
    
    master
  
  
    -services
    mapreduce_shuffle
  
  
    -
    
  

  
    
    yarn
  

slave1
slave2

提示：端口如 8020/50010 为常见默认， 若与系统或平安策略冲突，请统一调整并同步到防火墙放行规则。

_max = 16777216_max = 16777216_rmem = 4096 87380 16777216_wmem = 4096 65536 16777216_local_port_range = 1024 65535 = 65535

sudo sysctl -p

ulimit -n 65535

sudo vi /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

说明：上述优化有助于提升 HDFS 传输与 YARN 调度在高并发下的稳定性与吞吐。

ssh-keygen -t rsa -b 2048
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

确保 NameNode/ResourceManager 与 DataNode/NodeManager 之间的端口与免密通道畅通。

  
    
    hdfs://master:8020
  
  
    
    60000
  

  
    
    3
  
  
    
    100
  
  
    
    100
  
  
    -address
    master:8020
  
  
    -hostname-check
    true
  

  
    
    master
  
  
    -services
    mapreduce_shuffle
  
  
    -
    
  

  
    
    yarn
  

slave1
slave2

提示：端口如 8020/50010 为常见默认， 若与系统或平安策略冲突，请统一调整并同步到防火墙放行规则。

_max = 16777216_max = 16777216_rmem = 4096 87380 16777216_wmem = 4096 65536 16777216_local_port_range = 1024 65535 = 65535

sudo sysctl -p

ulimit -n 65535

sudo vi /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

说明：上述优化有助于提升 HDFS 传输与 YARN 调度在高并发下的稳定性与吞吐。

ssh-keygen -t rsa -b 2048
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

确保 NameNode/ResourceManager 与 DataNode/NodeManager 之间的端口与免密通道畅通。

  
    
    hdfs://master:8020
  
  
    
    60000
  

  
    
    3
  
  
    
    100
  
  
    
    100
  
  
    -address
    master:8020
  
  
    -hostname-check
    true
  

  
    
    master
  
  
    -services
    mapreduce_shuffle
  
  
    -
    
  

  
    &lt

---