进行查询就行了但是在日常的计算过程中我们一般都不是为了查询都是在查询的基础上进行二次计算所以使用hbase的命令是没有办法进行数据计算的并且对于hbase的压力也会增加很多hbase的本身并没有提供任何的计算逻辑所以我们要依赖于mapreducer进行计算这个代码上面我们已经实现过了但是后续开发过程中很少有人会直接开发mr程序这个代码的复杂程度比较高并且会非常大的拖慢我们的开发速度所以一般我们都会使用hive以外表的形式操作hbase中的数据进行多表的管理查询计算或者是进行数据的导入和导出。

propertynamehive.zookeeper.quorum/namevaluehadoop106,hadoop107,hadoop108/value

/property

propertynamehive.zookeeper.client.port/namevalue2181/value

/property

在自己的hadoop目录下的mapred-site.xml文件修改

propertynamehive.zookeeper.quorum/namevaluehadoop106,hadoop107,hadoop108/value

/property

propertynamehive.zookeeper.client.port/namevalue2181/value

/property

在hive/conf目录中增加log4j.properties文件输入日志级别设置

log4j.rootLoggererror,consolelog4j.appender.consoleorg.apache.log4j.ConsoleAppender

log4j.appender.console.targetSystem.out

log4j.appender.console.layoutorg.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern%d{yy/MM/dd

HH:mm:ss}

hive的内部表hive会不仅会管理元数据信息也会管理整个表的其他所有数据。

当在hive创建该表时将会在hbase创建映射表。

create

org.apache.hadoop.hive.hbase.HBaseStorageHandler

WITH

有的时候在hbase中已经存在一个表并且其中存在数据我们需要使用hive进行分析那么我们就需要创建一个外部表进行映射。

首先在hbase中创建表

student_hbase,1,info:name,zhangsan

put

org.apache.hadoop.hive.hbase.HBaseStorageHandler

WITH

student_hbase,1,info:name,zhangsan

Took

timestamp2024-11-13T22:35:58.531,

value20

timestamp2024-11-13T22:35:58.471,

valuezhangsan

timestamp2024-11-13T22:36:05.765,

value30

timestamp2024-11-13T22:35:58.604,

valuelisi

删除表因为hive对应的是外部表所以hbase的表不会被删除掉。

drop

salary,006,info:salary,6000#创建hive的表映射

create

org.apache.hadoop.hive.hbase.HBaseStorageHandler

WITH

不能用hive的load方式直接将数据导入到hbase中但是可以通过中间表的形式导入进行。

首先在本地创建teacher.txt

org.apache.hadoop.hive.hbase.HBaseStorageHandler

WITH

teacher_hbase);#从临时表使用mr将数据导入到hbase中insert

into

在大数据的场景计算中有时候我们会遇见将大量数据一次性导入到hbase的情况但是这个时候hbase是不能够容纳的因为插入的数据首先会进入到memstore中如果大量插入数据会造成memstore的内存压力急剧增大这个时候机器的其他进程是没有办法执行的并且还会出现非常严重的问题比如hbase在大量插入数据的时候首先这个region会急剧增加后续region会按照拆分策略进行region拆分当前region下线插入程序会直接卡死造成hbase宕机等严重问题为了解决这个问题hbase给用户提供了一种新的插入数据的方式bulkload方式这个方式中会跳过hbase本身的过程首先在使用hbase的提供的mapreduce程序按照插入数据的格式和hbase的表格式生成hfile文件然后我们将hfile文件一次性插入到hbase对应的hdfs的文件夹中这种方式是最快捷并且对于hbase的压力最小的方式。

首先在本地创建文件a.txt

其他字段与hive表中对应-Dimporttsv.skip.bad.lines是否跳过无效行-Dimporttsv.bulk.outputhfile输出路径hbase表名hdfs://worker-1:8020/data/hainiu/t2

具体执行命令如下

org.apache.hadoop.hbase.mapreduce.ImportTsv

-Dimporttsv.columnsHBASE_ROW_KEY,info:name,info:age

-Dimporttsv.skip.bad.linesfalse

default:t

查看hdfs文件发现hfile文件已经生成然后我们将数据导入到hdfs对应的目录中。

hbase

org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles

default:t