署(一)1、HDFS一、安装1、基础安装1.1、配置JDK-181.2、下载并解压hadoop安装包本地运行模式测试

eg:2、完全分布式运行模式1、概要2、编写集群分发脚本把1~4步安装的同步到其他服务器2.1、创建脚本vim

/var/opt/hadoopSoftware/hadoopScript/bin/xsync添加执行权限2.2、开始同步JDK、Hdoop、环境变量3、配置ssh免密4、配置xml4.1、集群部署规划如下4.2、所需配置文件4.3、配置集群1核心配置文件2HDFS配置文件3YARN配置文件4MapReduce配置文件5、启动整个集群5.1、配置workers5.2、启动集群5.3、页面地址6、集群测试6.1、上传文件到集群测试6.2、上传大文件测试6.3、hadoop集群测试7、集群崩溃处理1先停止集群2删除每个集群上的3格式化集群4启动集群8、配置历史服务器8.1、配置mapred-site.xml8.2、同步配置8.3、在hadoop1上启动历史服务器8.4、查看历史服务器是否启动8.5、查看JobHistory9、配置日志聚合功能1配置yarn-site.xml2同步配置3关闭重启NodeManager、ResourceManager、HistoryServer10、集群启停总结1、整体启动停止(推荐)1整体启动、停止HDFS2整体启动体制YARN3启停historyserver2、各个服务组件分别启/停1启/停HDFS组件2启/停YARN组件3启停historyserver11、编写Hadoop集群常用脚本1批量启停hadoop服务2查看所有服务器Java进程脚本jpsall12、常用端口号参考网站Hadoop3.3.1完全分布式部署(一)

Hadoop

的开源软件框架在大量计算机组成的集群中实现了对海量数据的分布式计算。

结构框架

NameNode主要是用来保存HDFS的元数据信息比如命名空间信息块信息等。

当它运行的时候这些信息是存在内存中的。

但是这些信息也可以持久化到磁盘上。

fsimage

NameNode就是来帮助解决上述问题的它的职责是合并NameNode的edit

它定时到NameNode去获取edit

logs并更新到自己的fsimage上。

一旦它有了新的fsimage文件它将其拷贝回NameNode中。

NameNode在下次重启时会使用这个新的fsimage文件从而减少重启的时间。

一、安装

https://download.oracle.com/java/17/archive/jdk-17_linux-x64_bin.tar.gz

JDK19

https://download.oracle.com/java/19/latest/jdk-19_linux-x64_bin.tar.gz

tar

/var/opt/hadoopSoftware/jdk-8u361-linux-x64.tar.gz

/var/opt/hadoopSoftware配置环境变量在profile.d下创建hadoop所需的环境变量

cat

JAVA_HOME/var/opt/software/jdk1.8.0_361

export

https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar

/var/opt/hadoopSoftware/hadoop-3.3.1.tar.gz

cat

HADOOP_HOME/var/opt/hadoopSoftware/hadoop-3.3.1

export

HDFS_SECONDARYNAMENODE_USERroot

export

/var/opt/hadoopSoftware/hadoop-3.3.1/tinput

cat

/var/opt/hadoopSoftware/hadoop-3.3.1/tinput/word.txt

Leo

share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

wordcount

/var/opt/hadoopSoftware/hadoopScript/bin

mkdir

/var/opt/hadoopSoftware/hadoopScript/config创建需要同步的服务器地址

cat

/var/opt/hadoopSoftware/hadoopScript/config/hadoop_hosts

hadoop2

/var/opt/hadoopSoftware/hadoopScript/bin/xsync添加执行权限

#!/bin/bash#

/var/opt/hadoopSoftware/hadoopScript/config/hadoop_hosts

doecho

遍历所有名例如有软连接他会cd到真正的数据目录pdir$(cd

$(dirname

done目前xsync只能同步当前需要写xsync脚本的绝对路径/var/opt/hadoopSoftware/hadoopScript/bin/xsync

2.2.1、开始同步(选用)

/var/opt/hadoopSoftware/hadoopScript/bin/xsync

sudo

/var/opt/hadoopSoftware/hadoopScript/bin/xsync

/etc/profile(根据自身需求后期可以使用ansible-playbook)

或如果想要应用这个脚本到全局可以进行如下环境变量设置根据自身情况进行设置仅参考

cat

HSCRIPT_HOME/var/opt/hadoopSoftware/hadoopScript

export

/etc/profile.d/my_env.sh3、配置ssh免密

参考配置

配置hadoop1和hadoop2免密登录hadoop[1,2,3]

4、配置xml

hadoop1hadoop2hadoop3HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerNodeManagerResourceManagerNodeManager

注NameNode、

$HADOOP_HOMEcore-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xmlhdfs-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlyarn-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xmlmapred-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

2自定义配置文件

core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml

4.3、配置集群

$HADOOP_HOME/etc/hadoop/core-site.xml?xml

version1.0

hrefconfiguration.xsl?configuration!--

指定NameNode地址

--propertynamefs.defaultFS/namevaluehdfs://hadoop1:8082/value/property!--

指定hadoop数据存储目录

--propertynamehadoop.tmp.dir/namevalue/var/opt/hadoopSoftware/hadoop-3.3.1/data/value/property!--

--propertynamehadoop.http.staticuser.user/namevalueroot/value/property

/configuration

$HADOOP_HOME/etc/hadoop/hdfs-site.xml?xml

version1.0

--propertynamedfs.namenode.http-address/namevaluehadoop1:9870/value/property!--

2nn

--propertynamedfs.namenode.secondary.http-address/namevaluehadoop3/value/propertypropertynamedfs.datanode.http.address/namevalue0.0.0.0:9864/valuedescriptionThe

datanode

如果为true(默认值)则namenode要求连接datanode的地址必须解析为主机名。

如有必要将执行反向DNS查找。

所有从不可解析地址注册datanode的尝试都将被拒绝。

建议保留该设置以防止在DNS中断期间意外注册由excluded文件中hostname列出的datanode。

只有在没有基础设施支持反向DNS查找的环境中才将此设置为false。

--!--propertynamedfs.namenode.datanode.registration.ip-hostname-check/namevaluefalse/value/property--/configuration3YARN配置文件

cat

$HADOOP_HOME/etc/hadoop/yarn-site.xml?xml

version1.0?

hrefconfiguration.xsl?configuration!--

指定MR走shutffle

--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--

--propertynameyarn.resourcemanager.hostname/namevaluehadoop2/value/property!--

3.1.3需要配置HADOOP_MAPRED_HOME。

3.2以上修复了就不用配置了--propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,HADOOP_MAPRED_HOME/value/property/configuration4MapReduce配置文件

cat

$HADOOP_HOME/etc/hadoop/mapred-site.xml?xml

version1.0?

hrefconfiguration.xsl?configuration!--

--propertynamemapreduce.framework.name/namevalueyarn/value/property/configuration修改完成后同步到所有服务器

xsync

$HADOOP_HOME/etc/hadoop5、启动整个集群

5.1、配置workers

$HADOOP_HOME/etc/hadoop/workers

hadoop1

$HADOOP_HOME/etc/hadoop/workers5.2、启动集群

chmod

$HADOOP_HOME1、初始化文件系统第一次运行格式化集群

hadoop1

$HADOOP_HOME/data/dfs/name/current/VERSION2、启动集群NameNode和DataNode守护进程:

hadoop1

$HADOOP_HOME/sbin/start-dfs.sh查看启动的服务jps

3、启动ResourceManager

$HADOOP_HOME/sbin/start-yarn.sh5.3、页面地址

http://hadoop1:9870#

查看datanode存储的数据可以使用如下方式还原每一台服务器存储的都一样

data/dfs/data/current/BP-12……/current/finalized/subdir0/subdir0/blk……/……#

word.txt

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

wordcount

$HADOOP_HOME/sbin/stop-dfs.sh2删除每个集群上的

-rf

$HADOOP_HOME/sbin/start-yarn.sh8、配置历史服务器

文件中添加如下配置

$HADOOP_HOME/etc/hadoop/mapred-site.xmlconfiguration!--

配置历史服务器端地址

--propertynamemapreduce.jobhistory.address/namevaluehadoop1:10020/value/property!--

配置历史服务web端地址

--propertynamemapreduce.jobhistory.webapp.address/namevaluehadoop1:10888/value/property

hadoop1

$HADOOP_HOME/etc/hadoop/mapred-site.xml8.3、在hadoop1上启动历史服务器

如果yarn启动需要关闭重启yarn

$HADOOP_HOME/sbin/start-yarn.sh启动历史服务器

hadoop1

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

wordcount

注开启日志聚合功能需要重启NodeManager、ResourceManager、HistoryServer。

1配置yarn-site.xml

$HADOOP_HOME/etc/hadoop/yarn-site.xmlconfiguration!--

开启日志聚合功能

--propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!--

设置日志聚合服务器地址

--propertynameyarn.log.server.url/namevaluehttp://hadoop1:19888/jobhistory/logs/value/property!--

设置日志保留时间为7天

--propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/property

/configuration2同步配置

$HADOOP_HOME/etc/hadoop/yarn-site.xml3关闭重启NodeManager、ResourceManager、HistoryServer

hadoop1

$HADOOP_HOME/sbin/stop-yarn.sh重启

hadoop2

$HADOOP_HOME/sbin/start-yarn.sh

hadoop1

$HADOOP_HOME/sbin/stop-dfs.shhadoop1

$HADOOP_HOME/sbin/start-dfs.sh2整体启动体制YARN

hadoop2

$HADOOP_HOME/sbin/stop-yarn.shhadoop2

$HADOOP_HOME/sbin/start-yarn.sh3启停historyserver

hadoop1

$HADOOP_HOME/sbin/start-dfs.shecho

---------------

$HADOOP_HOME/sbin/start-yarn.shecho

---------------

$HADOOP_HOME/sbin/stop-yarn.shecho

---------------

$HSCRIPT_HOME/bin/jpsall创建所需查看服务器的host地址

cat

/var/opt/hadoopSoftware/hadoopScript/config/all_hadoop_hosts

hadoop1

/var/opt/hadoopSoftware/hadoopScript/config/all_hadoop_hosts

doecho

Hadoop官网http://hadoop.apache.org/

Hadoop下载https://www.apache.org/dyn/closer.cgi/hadoop/common/

Hadoop历史版本下载http://archive.apache.org/dist/hadoop/core/

Hadoop文档http://hadoop.apache.org/docs/

Hive下载http://mirror.bit.edu.cn/apache/hive/

Hive历史版本下载http://archive.apache.org/dist/hive/

Hive文档https://cwiki.apache.org/confluence/display/Hive

HBase官网http://hbase.apache.org/

HBase下载http://mirrors.sonic.net/apache/hbase/

HBase历史版本下载http://archive.apache.org/dist/hbase/

HBase文档http://hbase.apache.org/book.html

HBase中文文档http://abloz.com/hbase/book.html

Spark官网http://spark.apache.org/

Spark下载http://spark.apache.org/downloads.html

Spark文档http://spark.apache.org/docs/latest/

Zookeeper官网http://zookeeper.apache.org/

Zookeeper下载http://zookeeper.apache.org/releases.html#download

Flume官网http://flume.apache.org/

Flume下载http://flume.apache.org/download.html

Flume文档http://flume.apache.org/documentation.html

Mahout官网http://mahout.apache.org/

Mahout下载http://mahout.apache.org/general/downloads.html

cdh5版本

下载地址http://archive.cloudera.com/cdh5/cdh/5/

文档地址http://archive.cloudera.com/cdh5/cdh/5/