。

而Hadoop就是一个用于处理海量数据的框架#xff0c;它既可以为海量数据提供可靠的存储#xff1b;也可以为海量数据提供高效的处理。

大数据概述

大数据是来源于众多不同数据源的集合通常由5个特征来描述包括大量Volume、真实Veracity、多样Variety、低价值密度Value和高速Velocity这5个特征称为大数据的5V特征。

旧版教材定义4V

随着Hadoop的不断发展Hadoop生态体系越来越完善现如今已经发展成一个庞大的生态体系。

HDFS分布式文件系统HDFS是Hadoop的分布式文件系统它是Hadoop生态系统中的核心项目之一是分布式计算中数据存储管理基础。

MapReduce分布式计算框架MapReduce是一种计算模型用于大规模数据集大于1TB的并行运算。

Yarn资源管理框架YarnYet

Ano***r

2.0中的资源管理器它可为上层应用提供统一的资源管理和调度。

Sqoop数据迁移工具Sqoop是一款开源的数据导入导出工具主要用于在Hadoop与传统的数据库间进行数据的转换。

Mahout数据挖掘算法库Mahout是Apache旗下的一个开源项目它提供了一些可扩展的机器学习领域经典算法的实现旨在帮助开发人员方便快捷地创建智能应用程序。

HBase分布式存储系统HBase是Google

Bigtable克隆版它是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。

Zookeeper分布式协作服务Zookeeper是一个分布式的开放源码的分布式应用程序协调服务是Google的Chubby一个开源的实现是Hadoop和HBase的重要组件。

Hive基于Hadoop的数据仓库Hive是基于Hadoop的一个分布式数据仓库工具可以将结构化的数据文件映射为一张数据库表将SQL语句转换为MapReduce任务进行运行。

Flume日志收集工具Flume是Cloudera提供的一个高可用的高可靠的分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方用于收集数据同时Flume提供对数据进行简单处理并写到各种数据接受方可定制的能力。

2.4

Hadoop1.0内核主要由分布式存储系统HDFS和分布式计算框架MapReduce两个系统组成而Hadoop2.x版本主要新增了资源管理框架Yarn以及其他工作机制的改变。

Hadoop

3.x是基于JDK1.8开发的较其他两个版本而言在功能和优化方面发生了很大的变化其中包括HDFS

Native

Hadoop3.3.5安装教程_单机/伪分布式配置_Hadoop3.3.5/Ubuntu22.04

环境VMware

一般而言开展大数据实验需要在虚拟机中安装各种大数据软件至少需要消耗40GB磁盘空间因此建议把磁盘空间设置为50GB~100GB且内存为4G以上。

随后打开Ubuntu进行设置

Ubuntu终端复制粘贴快捷键在Ubuntu终端窗口中复制粘贴的快捷键需要加上

hadoop按提示输入两次密码

sudo最后注销当前用户返回登陆界面。

在登陆界面中选择刚创建的

hadoop

但这样登陆是需要每次输入密码的我们需要配置成SSH无密码登陆比较方便。

ssh-keygen

SHA256:OhgJuRKQaCQF6TcJroolvsUdd4CX35H8cAOk1cS8HIU

hadoopHins-vm

Hadoop3.3.5需要JDK版本在1.8及以上。

需要按照下面步骤来自己手动安装JDK1.8。

我们需要从windows向虚拟机上面安装的ubuntu进行大数据文件的传输这时候我们不能通过VMTools来进行传输否则会导致VM工具的错误所以这时候我们需要一个第三方的软件来进行大数据文件的传输。

这里选择FileZilla。

首先在Windows端下载FileZilla安装打开后输入下面四个框的信息进行连接

可以看到该压缩文件已经保存在“/home/hadoop/Downloads”目录下。

在Linux命令行界面中执行如下Shell命令注意当前登录用户名是hadoop

hadoopHins-vm:~$

注意区分大小写字母刚才已经通过FTP软件把JDK安装包传到该目录下

sudo

/usr/lib/jvmJDK文件解压缩以后可以执行如下命令到/usr/lib/jvm目录查看一下

/usr/lib/jvm

~/.bashrc上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件请在这个文件的开头位置添加如下几行内容

export

JAVA_HOME/usr/lib/jvm/jdk1.8.0_371

export

CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export

PATH${JAVA_HOME}/bin:$PATH先按i进入插入模式后使用

保存.bashrc文件并退出vim编辑器。

然后继续执行如下命令让.bashrc文件的配置立即生效

source

mode)至此就成功安装了Java环境。

下面就可以进入Hadoop的安装。

3.5

~/Downloads/hadoop-3.3.5.tar.gz

/usr/local

hadoopHins-vm:/usr/local/hadoop$

./bin/hadoop

https://github.com/apache/hadoop.git

706d88266abcee09ed78fbaa0ad5f74d818ab0e9

Compiled

/usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.5.jar3.6

Hadoop单机配置非分布式

独立模式一种在单台计算机的单个JVM进程中模拟Hadoop集群的工作模式此模式部署的Hadoop通常用于快速安装体验Hadoop的功能并不适用于实际生产环境。

伪分布式模式一种在单台计算机的不同JVM进程中运行Hadoop集群的工作模式此模式部署的Hadoop通常用于在开发环境中进行测试和调试并不适用于实际生产环境。

完全分布式模式一种在多台计算机的JVM进程中运行Hadoop集群的工作模式Hadoop集群的每个守护进程都运行在不同的计算机中此模式部署的Hadoop通常作为实际生产环境的基础。

Hadoop

默认模式为非分布式模式独立模式无需进行其他配置即可运行。

非分布式即单

Java

./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar

在此我们选择运行

./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar

grep

查看运行结果执行成功后如下所示输出了作业的相关信息输出的结果是符合正则的单词

dfsadmin

configurationpropertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop/tmp/valuedescriptionAbase

for

directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property

hdfs-site.xml

configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/data/value/property

Hadoop

时会读取配置文件因此如果需要从伪分布式模式切换回非分布式模式需要删除

core-site.xml

参数则默认使用的临时在重启时有可能被系统清理掉导致必须重新执行

format

dfs.datanode.data.dir否则在接下来的步骤中可能会出错。

配置完成后执行

start-dfs.sh是个完整的可执行文件中间没有空格启动完成后可以通过命令

jps

那就是配置不成功请仔细检查之前步骤或通过查看启动日志排查原因。

Web

hadoopHins-vm:/usr/local/hadoop$

./bin/hdfs

作业的方式跟单机模式相同区别在于伪分布式读取的是HDFS中的文件可以将单机步骤中创建的本地

input

./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar

grep

output/*结果如下注意到刚才我们已经更改了配置文件所以运行结果不同。

./output

“org.apache.hadoop.mapred.FileAlreadyExistsException:

Output

hdfs://localhost:9000/user/hadoop/output

already

文件夹在实际开发应用程序时可考虑在程序中加上如下代码能在每次运行时自动删除输出目录避免繁琐的命令行操作

Configuration

outputPath.getFileSystem(conf).delete(outputPath,

true);若要关闭

OK以上就是本期知识点“Hadoop概述与搭建环境”的知识啦~~

转载请注明出处