集成hive

到RDD的解释翻译功能所以需要和hive的metastore服务集成在一起使用。

集成hive

在spark安装目录conf下新增hive-site.xml配置文件内容如下

configuration!--

--propertynamehive.metastore.uris/namevaluethrift://127.0.0.1:9083/valuedescriptionURI

for

server/description/property!--配置数据表数据存储目录--propertynamehive.metastore.warehouse.dir/namevalue/home/datahouse/hive/warehouse/value/property

hadoop的数仓已能正常运行。

因为spark需要使用hive的metastore服务所以hive的相关服务得正常运行。

可以参考

【数据仓库】hive

org/apache/spark/log4j-defaults.properties

Setting

row(s)可以看到之前在hivehadoop数仓下建的库都可以通过spark-sql

查出来了因为两者共用了一个metastore服务元数据是一样的数仓地址也是一样的。

spark-sql

使用的元数据管理是hive的元数据服务所以spark-sql的语法可以理解为和hive

SQL执行流程

元数据管理分布式计算和存储依赖于hadoop的MR和HDFS;

spark

数仓分布式计算使用MR性能计算很慢在BI数据集配置时经常会超时

spark

实在是太慢了spark又非常快两者强强联合岂不是最佳实践。

网上也搜到了很多教程但都是对于hive的低版本的。

但是现实却发生了变化。

hive

版本的源码pom中已经看不到引用的spark版本了有可能在4.0版本放弃了spark的支持。

https://hive.apache.org/docs/latest/overview-of-major-changes_283118379/

可以看到直接就是移除了spark还不是废弃。

最新的版本hive4.0已经不支持spark集成了。

这也是为什么在hive

sql

在hive4.0之前的版本hive3.1.3中依赖的spark

但是可以尝试基于hive3.1.3的源码修改saprk的版本为新版本重新编译。

这里不再往下探究。

毕竟hive4.0

已经移除了spark数仓搭建技术还是以hive为主因为它稳定。

官方提供了Tez的执行引擎替代MR。

也能提高hive的执行效率。

hive

4.0移除了saprk支持只能使用MR和Tez,意味着往后版本hive

spark就不存在了若想使用需要将hive换到4,0以前的版本

spark

hive可以继续使用但这个是以spark为主利用hive的元数据服务但总是感觉没有hive专业