。

该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域#xff0c;包含了应用使能套件、软件仓库、软件支持、软件适…【写在前面】

飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力聚合行业内优秀资源而打造的。

该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块旨在共享尖端技术为开发者提供一个涵盖多领域的开发平台和工具套件。

​​​

本文分享至飞腾开发者平台《飞腾平台Hive3.1.2安装手册》

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。

它架构在Hadoop之上总归为大数据并使得查询和分析方便。

并提供简单的sql查询功能可以将sql语句转换为MapReduce任务进行运行。

最初Hive是由Facebook开发后来由Apache软件基金会开发并作为进一步将它作为名义下Apache

Hive

之上控制分隔符也允许用户指定数据格式。

Hive不适用于在线事务处理。

它最适用于传统的数据仓库任务。

Hive

之上Hadoop

通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。

因此Hive并不能够在大规模数据集上实现低延迟快速的查询例如Hive

在几百MB的数据集上执行查询一般有分钟级的时间延迟。

因此Hive并不适合那些需要低延迟的应用例如联机事务处理OLTP。

Hive查询操作过程严格遵守Hadoop

MapReduce

集群上Hadoop监控作业执行过程然后返回作业执行结果给用户。

Hive并非为联机事务处理而设计Hive

本文主要介绍移植适配后的Hive.3.1.2在飞腾平台的安装与部署过程。

环境要求

项目说明CPUFT-2000/64服务器网络无要求存储无要求内存无要求

2.2

项目说明CentOS8Kernel4.18.0-193.el8.aarch64

2.3

项目说明Java1.8.0_281MySQL5.7Hadoop3.3.0

安装与部署

https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

/opt

HADOOP_HOME/opt/hadoop-3.3.0export

HIVE_CONF_DIR/opt/hive-3.1.2/confexport

HIVE_AUX_JARS_PATH/opt/hive-3.1.2/auxlibexport

步骤二

hive-log4j2.properties.template

beeline-log4j2.properties.template

hive-exec-log4j2.properties.template

步骤三

configurationpropertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://localhost:3306/hive?createDatabaseIfNotExisttrue/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value/propertypropertynamejavax.jdo.option.ConnectionUserName/namevaluebigdata/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevaluebigdata/value/propertypropertynamehive.metastore.warehouse.dir/namevalue/user/hive/warehouse/value/propertypropertynamehive.exec.scratchdir/namevalue/user/hive/tmp/valuedescriptionHDFS

root

dir:${hive.exec.scratchdir}/lt;usernamegt;

created,

${hive.scratch.dir.permission}./description/propertypropertynamehive.querylog.location/namevalue/user/hive/log/valuedescriptionLocation

Hive

file/description/property/configuration

步骤四

[jar:file:/opt/hive-3.1.2/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

[jar:file:/opt/hadoop-3.3.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

http://www.slf4j.org/codes.html\#multiple_bindings

for

[org.apache.logging.slf4j.Log4jLoggerFactory]

Metastore

jdbc:mysql://172.16.32.200:3306/apache_hive_db?createDatabaseIfNotExisttrue

Metastore

-Dlog4j.configurationFilehive-log4j2.properties

-Djava.util.logging.config.file/opt/hive-3.1.2/conf/parquet-logging.properties

-Djline.terminaljline.UnsupportedTerminal

-Dyarn.log.dir/opt/hadoop-3.3.0/logs

-Dyarn.home.dir/opt/hadoop-3.3.0

-Djava.library.path/opt/hadoop-3.3.0/lib/native

-Xmx256m

-Dhadoop.log.dir/opt/hadoop-3.3.0/logs

-Dhadoop.home.dir/opt/hadoop-3.3.0

-Dhadoop.root.loggerINFO,console

-Dhadoop.policy.filehadoop-policy.xml

-Dhadoop.security.loggerINFO,NullAppender

/opt/hive-3.1.2/lib/hive-service-3.1.2.jar

org.apache.hive.service.server.HiveServer2

功能测试

(/home/hadoop/.local/bin:/home/hadoop/bin:/opt/apache-maven

3.3.9/bin:/home/phytium/.local/bin:/home/phytium/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/usr/local/mysql/bin:/opt/jdk1.8.0_281/bin:/usr/local/lib:/usr/local/bin:/usr/local/bin:/opt/hadoop-3.3.0/sbin:/opt/hadoop-3.3.0/bin:/usr/local/mysql/bin:/opt/hive-3.1.2/bin:/root/bin)

SLF4J:

[jar:file:/opt/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

[jar:file:/opt/hadoop-3.3.0/share/hadoop/common/lib/slf4j-log4j12

1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

http://www.slf4j.org/codes.html\#multiple_bindings

for

type[org.apache.logging.slf4j.Log4jLoggerFactory]

Hive

5b09fa6f-638c-4363-bd45-31d07e773a41Logging

initialized

file:/opt/hive-3.1.2/conf/hive-log4j2.properties

Async:

7025b4a7-0c70-4274-bb1b-66989b813198

Hive-on-MR

[jar:file:/opt/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

[jar:file:/opt/hadoop-3.3.0/share/hadoop/common/lib/slf4j-log4j12

1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:

http://www.slf4j.org/codes.html\#multiple_bindings

for

[org.apache.logging.slf4j.Log4jLoggerFactory]

Connecting

command(queryIdhadoop_20210721153935_ef385520-032c-4de9-98c0-b01dadbb3b4c):

show

Schema(fieldSchemas:[FieldSchema(name:database_name,

deserializer)],

command(queryIdhadoop_20210721153935_ef385520-032c-4de9-98c0-b01dadbb3b4c);

Time

command(queryIdhadoop_20210721153935_ef385520-032c-4de9-98c0-b01dadbb3b4c):

show

command(queryIdhadoop_20210721153935_ef385520-032c-4de9-98c0-b01dadbb3b4c);Time

taken:

基于飞腾平台的Hbase的安装配置基于飞腾平台的Hadoop的安装配置

未经本公司同意任何单位、公司或个人不得擅自复制翻译摘抄本文档内容的部分或全部不得以任何方式或途径进行传播和宣传。

商标声明

本文档的内容视为飞腾的保密信息您应当严格遵守保密任务未经飞腾事先书面同意您不得向任何第三方披露本文档内容或提供给任何第三方使用。

由于产品版本升级或其他原因本文档内容会不定期进行更新。

除非另有约定本文档仅作为使用指导飞腾在现有技术的基础上尽最大努力提供相应的介绍及操作指引但飞腾在此明确声明对本文档内容的准确性、完整性、适用性、可靠性的等不作任何明示或暗示的保证。

本文档中所有内容包括但不限于图片、架构设计、页面布局、文字描述均由飞腾和/或其关联公司依法拥有其知识产权包括但不限于商标权、专利权、著作权等。

非经飞腾和/或其关联公司书面同意任何人不得擅自使用、修改复制上述内容。