Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon

早期版本中…1、存算分离

所谓存算分离是指查询外表时使用一种专门做计算的BE节点但对于存储在BE上的内部表目前还不能做到存储分离。

Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon

早期版本中FE通过BE节点查询外部表并且在BE节点内执行join、sort、agg等计算

新版本改造了BE节点通过修改配置它可以仅用于查询外表时的计算内部表数据不会存到它上面

这种BE称为“计算节点”而既存储内部表数据又执行计算的BE节点称为“混合节点”。

两者的代码和二进制安装文件是一样的只是配置不同在集群中扮演的角色不同。

配置方法如下

prefer_compute_node_for_external_tabletrue

min_backend_num_for_external_table3

修改BE配置

当集群中有充足的计算节点时当FE查询外表时执行计划优先下发给“计算节点”而不发给“混合节点”。

以上就是2.0.0存算分离特性的原理和状态以下是这一特性的限制和理解上的澄清

存算分离的计算节点只能用于外表的访问和计算对内部表算子例如JOIN、AGG、SORT还不能调度到计算节点执行

SelectDB在apache

doris官网上说2023年10月会上传更成熟的存算分离架构给社区估计目前的存算分离还不够完善。

查看了一下StarRocks的官网没有存算分离的文档只有3.1的release

Catalog

可以理解为一个种类型的数据库集群里面包含多个同一类型的数据库。

Database

用于数据管理的隔离有独立的元数据存储字符编码、数据存储格式等属性内部包含schema和table。

Doris的Multi-Catalog可以将外部数据源映射到一个新的Catalog并自动读取外部数据源的所有元数据在本地创建对应的database和表。

例如hive里有如下数据库

使用Multi-Catalog特性不需要为每个hive数据库在Doris创建对应数据库也不需要为每个hive表创建映射表。

对于Doris支持的数据源如hiveElasticsearch只要创建Catalog并指定连接信息

CREATE

Doris会自动读取外部数据源的元数据信息并为每个数据库和表创建映射。

这个功能极大的方便了外部数据源的访问在1.20版本已经具备了这一功能2.0.0支持更多数据源并与存算分离结合。

3、冷热分层

冷热分层是指将表中较早时间导入的数据保存到对象存储或其它廉价的存储中去并在doris本地删除

当需要这些旧数据时再从对象存储读进来这个过程对于用户是透明的。

具体的操作是在创建表时设置一个日期在这个日期到达时之前导入的数据会上传到对象存储并在本地删除。

也可以建表时设置数据的生命期从数据导入时开始计算超过这个生命期的数据会上传到对象存储并在本地删除。

但是也会创建一个对应的Rowset对象记录了这批数据的导入时间。

冷热分层粒度就是基于Rowset当到达冷却时间时会将当前满足条件的Rowset

全部上传到对象存储并删除本地数据之后新导入的数据生成的新Rowset会在到达冷却时间后也上传到对象存储。

查询时如果查询的数据是热数据这些数据仍然存储在BE节点可以直接返回结果

如果查询的数据是冷数据BE会读取对象存储里的数据在本地恢复再返回结果。

注意冷热分层是以导入时间作为数据冷热标准自动上传冷数据的对用户是透明的

不是以用户定义的某个类型为日期的列用户对于冷热分层的控制是非常有限的。

nereids

这种称为pipeline的执行器将执行计划的执行分为更小的粒度最大程度的异步化和并行化。