态ip2.2

三、初识Hadoop四、三种模式的区别4.1、单机模式与伪分布式模式的区别4.2、特点4.3、配置文件的差异4.3.1、单机模式4.3.2、伪分布式模式4.3.3、完全分布式模式

五、问答题六、shell访问hdfs(通过HDFS*Shell命令)6.1、问答题

6.2、注意

将ip地址和主机名的映射添加到文件中192.168.xx.xxx

single

C:\Windows\System32\drivers\etc\host

192.168.xx.xxx

没有HDFS只能测试MapReduce程序MapReduce处理的是本地的Linux的文件数据只需要修改hadoop-env.sh配置文件

2.5

ResourceManage8088、NodeManager8042

启动hdfs之后会有哪些服务

控制从节点运行的服务器workers3.0hadoopslaves2.0hadoop

维护HDFS集群的所有数据块的分布、副本数和负载均衡NameNode记录每个数据块的位置和副本信息并负责管理数据块的复制和迁移以实现数据的可靠性和负载均衡。

响应客户端的所有读写数据请求NameNode接收客户端的读写请求并将请求转发到适当的DataNode进行数据读取或写入操作。

128mb

128mb要存下700m需要6块数据块一块为128namenode保存的两个文件edits文件文件的更新操作记录操作日志fsimage文件修改信息

控制访问权限

2.根据namenode的指令对block进行创建、复制、删除等操作

3.datanode和namenode进行心跳通信接受namenode指令

4.定期向namenode汇报自身存储的block列表及健康状态

SSH免密登录原理

大数据的特征大量、真实、多样、低价值密度、高速hadoop起源的三篇论文NDFS、MapReduce分而治之并行计算、HDFS分布式文件系统-源于谷歌的GFS论文hadoop处理的是离线数据元数据MetaData记录hdfs文件系统的相关信息包括文件系统的目录结构

文件名

HDFS是Hadoop生态圈的基石主要负责hadoop集群数据的存储和读取大数据处理的意义对未来事物发展规律做出预测对之前的数据进行归纳和总结。

第二名称节点的作用辅助namenode合并fsimage文件和edits文件

将合并结果发送给namenode帮助主节点namenode进行元数据备份和恢复

单机模式

所有Hadoop组件如HDFS和YARN都在本地运行并且没有网络通信

伪分布式模式

Hadoop服务如HDFS和YARN运行在单个计算机上但它们通过网络进行通信和协作。

文件系统被配置为HDFS而不是本地文件系统数据被存储在HDFS中。

4.2、特点

根据HDFS的块大小为128MB存储300MB的文件需要多少个数据块。

计算方法如下

-appendToFile命令将所有给定本地文件的内容追加到hdfs文件hdf文件不存在则创建该文件

hdfs

在hdfs中文件复制到同一个个数、文件个数、文件总计大小、输入路径合并目录下的文件并下载到本地hdfs

dfs

/usr/opt/data/a.txtHDFS中block默认保存3份一个datanode上只有一个数据块的备份

6.1、问答题

18.04机器机器名分别是master192.168.22.101、slave192.168.30.102、slave2(192.168.22.103))部署Hadoop完全分布式环境master上位Namenode节点三台机器已经实现免密登录。

实现下面功能需要输入什么Linux命令或者操作进行什么操作

ssh-keygen

start-yarn.sh该Hadoop集群运行时使用哪儿个命令查看集群启动进程

jps

/test中的/input/file.txt表示根下复制file.txt文件到HDFS中的/test下的/input。