说到大数据，很多人第一时间就会想到 Spark、Flink 或者是云上的 EMR。但别忘了老牌的Hadoop依旧是许多企业的根基。特别是在Ubuntu上部署伪分布式模式时一行行细碎的环境变量设置往往决定了后续实验能否顺利进行，摸个底。。

一、 准备工作：先把 Java 拉进来

如果你还没有安装 JDK，那真是“一步登天”的梦想啊！先打开终端， 用下面的命令把 OpenJDK 8 安装好：

sudo apt update
sudo apt install -y openjdk-8-jdk

我懂了。 装完后用 java -version 验证一下：

$ java -version
openjdk version "1.8.0_352"
...

让我们一起... 看到这串数字，你会不自觉地笑出声——主要原因是它预示着接下来可以顺利写 JAVA_HOME 了。

二、 下载 & 解压 Hadoop 包

官方镜像经常被墙，但别慌，国内镜像站点也提供高速下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/

换个角度。 解压完后我们把目录改名为更友好的 /usr/local/hadoop

sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop
sudo chown -R $USER:$USER /usr/local/hadoop

三、核心环节：编辑 .bashrc

打开你的用户家目录下的 .bashrc在文件末尾追加如下内容：，中肯。

# ==== Hadoop 环境变量 ====
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
# 把 bin 与 sbin 加入 PATH，让所有子命令随手可得
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 小技巧：让 Hadoop 能够找到本机 IP
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

保存后施行一次生效：

source ~/.bashrc

四、验证配置是否成功——别急着跑 MapReduce！先看版本号！

在终端敲下：

$ hadoop version
-------------------------------------------------
Apache Hadoop 3.3.6
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b9b7c5a...
Compiled by jenkins on 2024-02-15T07:31Z
Compiled with protoc 3.x.x
From source with checksum ...
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.
...
-------------------------------------------------

只要看到这段信息，就说明我们已经把关键路径塞进了系统环境里。

五、 一目了然的变量对照表

六、细节调优：核心配置文件略微点缀一下才叫完整

打开并编辑/usr/local/hadoop/etc/hadoop/core-site.xml，躺平。

    
        fs.defaultFS
        hdfs://localhost:9000
    

在/usr/local/hadoop/etc/hadoop/hdfs-site.xml中加入块大小和副本数：，简直了。

    
        dfs.replication
        1
    
    
        dfs.blocksize
        134217728
    

为 Yarn 写入最小化的配置文件/etc/hadoop/yarn-site.xml：，扎心了...

    
        yarn.nodemanager.pmem-check-enabled
        false
    

七、动手跑个 Demo：WordCount 一键启动！🌟🌟🌟️️️️️️️️️️🌀🌀🌀🌀🌀🌀🌀🌀🌀⚡⚡⚡⚡⚡⚡⚡⚡⚡⚡⚡💥💥💥💥💥💥💥💥💥🚀🚀🚀🚀🚀🚀🚀🚀🚀🚀🚀🚀🚀🔥🔥🔥🔥🔥🔥🔥🔥🔥🎉🎉🎉🎉🎉🎉🎉🎉🎉🌈🌈🌈🌈🌈🌈🌈🌈🌈🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤🐱‍👤 )

站在你的角度想... 格式化 NameNode：  hdfs namenode -format -force  # 没错，就这么干！  \ ​).

检查 Java 与 Hadoop 的版本匹配性， 如有冲突请及时回滚； 启动核心守护进程： $ start-dfs.sh   # 启动 NameNode + DataNode $ start-yarn.sh   # 启动 ResourceManager + NodeManager $ jps # 看看是否有 NameNode、 尊嘟假嘟？ DataNode、ResourceManager 等进程 准备测试文本： $ echo “Hello Hadoop” | hdfs dfs –put – /user/$USER/input.txt $ cat input.txt Hello Hadoop

总结一下。 运行 WordCount 程序： $ yarn jar $HADOOP_HOME/share/hadoop/mapreduce/ hadoop-mapreduce-examples-*.jar wordcount \ /user/$USER/input.txt /user/$USER/output

太离谱了。 查看后来啊： $ hdfs dfs –cat /user/$USER/output/part-r‑00000 Hello    1 Hadoop  1

总结一下。 🎊 完成啦！恭喜你已经在 Ubuntu 上搭建起一个能跑 MapReduce 的“小宇宙”。如果想玩 Spark， 只要把 Spark 安装到同一台机器上，然后把 $SPARK_HOME/bin 加进 PATH，几分钟之内即可切换场景。

点击观看视频教程

最近天气有点怪怪的，总是忽冷忽热，不过写脚本的时候倒是觉得格外有动力——好像每敲一次回车，都能驱散一点阴霾。 小伙伴们如果还有什么奇葩报错或者想要进一步优化集群， 结果你猜怎么着？ 请在评论区踢出你的问题，我会尽快回复哦~ 😄😎🤖

 再说说温馨提醒：别忘了定期备份 core-site.xml 与 hdfs-site.xml，这两份文件可是你的“大脑”，一旦丢失后果不堪设想。

© 2026 技术分享社区 | 本文仅作学习交流使用，如涉及版权请联系删除。