1、首先客户端发送一个写数据的请求通过rpc与NN建立连接NN会做一些简单的校验文件是否存在是否有空间存储数据等。

2、NN就会将校验的结果发送给客户端客户端就会向NN发送请求第一个block存储在哪个DN中。

3、NN接受客户端请求就会根据block块以及副本的数量来分配DN并将对应的DN的地址返回给客户端。

4、客户端会向第一个DN发送请求上传数据第一个DN接受到以后就会向下一个DN发送请求直到最后一个DN将整个pipline管道创建成功在返回给客户端。

5、此时客户端会将block切分成多个package以package的形式传递到DN中在pipiline中依次传输当传输到最后一个DN的时候就会返回一个ack响应当客户端接收到最后一个DN传输过来的ack此时package就传输完成然后一次传输package。

6、当第一个block传输完成以后客户端就会请求NN上传第二个block。

7、当所有的package传输完成后管道就会关闭数据传输成功。

2、HDFS写数据请求微观保证了在传输的过程中package不会发生错误

1、首先客户端发送写数据的请求将磁盘中的数据从内存中提取出来存放在客户端的内存中。

2、当客户端与NN之间通过rpc建立联系后获取到第一个block存在的DN的地址然后向第一个DN中发送写数据的请求第一个DN接收到后调用下一个DN以此类推在所有的DN之间建立pipline管道。

3、当pipline管道建立后客户端此时对每一个block在进行切分分成多个package。

4、在客户端为了防止在传输过程package不会出错就会产生了两个两个队列分别是数据队列dataqueue和确认队列Ackqueue。

5、此时会将缓存中的package读取到数据队列同时也会复制一份到确认队列中

6、然后数据队列就会上传数据然后通过Pipline管道分别就是package依次发送到对应的dn中

7、当客户端发送第一个package的时候会有一个进程responseprosessor进程用来接收DN传来的ack的响应如果接受到的ack是true说明这个package传输成功此时ackqueue中的package就会删除反之ackqueue会将package复制一份给dataqueue重新发送一直到收到的ack的状态时true。

2、NN根据客户端的请求NN将block以及对应副本所对应的DN的地址返回返回个客户端。

3、客户端会根据返回来的DN地址会根据网络拓扑结构计算出与客户端的距离然后进行排序。

4、客户端会选择距离较近的DN中去读取block如果客户端就在DN中就会在自生读取block当block读取完成后文件读取还没有结束此时客户段会向NN继续发送读数据的请求获取下一批的block的地址。

header