Doris…作者介绍肖康SelectDB

为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。

Apache

Doris

场景优化的高性能倒排索引对于字符串类型的全文检索和普通数值、日期等类型的等值、范围检索具有更高效的支持相较于

Elasticsearch

日志数据在企业大数据中非常普遍其体量往往在企业大数据体系中占据非常高的比重包括服务器、数据库、网络设备、IoT

物联网设备产生的系统运维日志与此同时还包含了用户行为埋点等业务日志。

日志数据对于保障系统稳定运行和业务发展至关重要基于日志的监控告警可以发现系统运行风险及时预警在故障排查过程中实时日志检索能帮助工程师快速定位到问题尽快恢复服务日志报表能通过长历史统计发现潜在趋势。

而用户埋点日志数据则是用户行为分析以及智能推荐业务所依赖的决策基础有助于用户需求洞察与体验优化以及后续的业务流程改进。

由于其在业务中能发挥的重要意义因此构建统一的日志分析平台提供对日志数据的存储、高效检索以及快速分析能力成为企业挖掘日志数据价值的关键一环。

而日志数据和应用场景往往呈现如下的特点

数据增长快每一次用户操作、系统事件都会触发新的日志产生很多企业每天新增日志达到几十甚至几百亿条对日志平台的写入吞吐要求很高数据总量大由于自身业务和监管等需要日志数据经常要存储较长的周期因此累积的数据量经常达到几百

级而较老的历史数据访问频率又比较低面临沉重的存储成本压力时效性要求高在故障排查等场景需要能快速查询到最新的日志分钟级的数据延迟往往无法满足业务极高的时效性要求因此需要实现日志数据的实时写入与实时查询。

这些日志数据和应用场景的特点为承载存储和分析需求的日志平台提出了如下挑战

高吞吐实时写入既需要保证日志流量的大规模写入又要支持低延迟可见低成本大规模存储既要存储大量的数据又要降低存储成本支持文本检索的实时查询既要能支持日志文本的全文检索又要做到实时查询响应

业界日志存储分析解决方案

为代表的轻量索引/无索引架构如果我们从实时写入吞吐、存储成本、实时交互式查询性能等几方面进行对比不难发现以下结论

为代表的倒排索引检索架构支持全文检索、查询性能好因此在日志场景中被业内大规模应用但其仍存在一些不足包括实时写入吞吐低、消耗大量资源构建索引且需要消耗巨大存储成本以

Loki

为代表的轻量索引或无索引架构实时写入吞吐高、存储成本较低但是检索性能慢、关键时候查询响应跟不上性能成为制约业务分析的最大掣肘。

在日志场景的优势在于全文检索能力能快速从海量日志中检索出匹配关键字的日志其底层核心技术是倒排索引Inverted

倒排索引是一种用于快速查找文档中包含特定单词或短语的数据结构最早应用于信息检索领域。

如下图所示在数据写入时倒排索引可以将每一行文本进行分词变成一个个词Term然后构建词Term

行号列表Posting

的映射关系将映射关系按照词进行排序存储。

当需要查询某个词在哪些行出现的时候先在

行号列表

的有序映射关系中查找词对应的行号列表然后用行号列表中的行号去取出对应行的内容。

这样的查询方式可以避免遍历对每一行数据进行扫描和匹配只需要访问包含查找词的行在海量数据下性能有数量级的提升。

图倒排索引原理示意

带来快速检索能力的同时也付出了写入速度吞吐低和存储空间占用高的代价——由于数据写入时倒排索引需要进行分词、词典排序、构建倒排表等

CPU

和内存密集型操作导致写入吞吐大幅下降。

而从存储成本角度考虑ES

会存储原始数据和倒排索引为了加速分析可能还需要额外存储一份列存数据因此

Loki

则放弃了倒排索引虽然带来来写入吞吐和存储空间的优势但是损失了日志检索的用户体验在关键时刻不能发挥快速查日志的作用。

成本虽然有所降低但是没有真正解决用户的问题。

Elasticsearch

高吞吐、低存储成本和实时高性能的要求只能在某一方面或某几方面做权衡取舍。

如果在保持倒排索引的文本检索性能优势的同时大幅提升系统的写入速度与吞吐量并降低存储资源成本是否日志场景所面临的困境就迎刃而解呢答案是肯定的。

如果我们希望使用

来更好解决日志存储与分析场景的痛点其实现路径也非常清晰——在数据库内部增加倒排索引、以满足字符串类型的全文检索和普通数值/日期等类型的等值、范围检索同时进一步优化倒排索引的查询性能、使其更加契合日志数据分析的场景需求。

Apache

年的历史设计之初主要面向信息检索领域、功能丰富且复杂而日志和大多数

OLAP

场景只需要其核心功能包括分词、倒排表等而相关度排序等并非强需求因此存在进一步功能简化和性能提升的空间ES

Apache

实现具有更好的性能倒排索引并不能决定性能表现的全部作为一个高性能、实时的

OLAP

最新版本的探索与持续优化在相同硬件配置和数据集的测试表现上Apache

Doris

业界各类系统为了支持全文检索和任意列索引往往有两种实现方式一是通过外接索引系统来实现原始数据存储在原系统中、索引存储在独立的索引系统中两个系统通过数据的

进行关联。

数据写入时会同步写入到原系统和索引系统索引系统构建索引后不存储完整数据只保留索引。

查询时先从索引系统查出满足过滤条件的数据

集合然后用

这种架构的优势是实现简单借力外部索引系统对原有系统改动小。

但是问题也很明显

数据写入两个系统异常有数据不一致的问题也存在一定冗余存储查询需在两个系统进行网络交互有额外开销数据量大时用

集合去原系统查性能比较低维护两套系统的复杂度高将系统的复杂性从开发测转移到运维测

而另一种方式则是直接在系统中内置倒排索引尽管技术难度更高但性能更好、且无需花费额外的系统维护成本对用户更加友好这也是

Apache

等汇总信息可以用于等值、范围查询的粗粒度过滤只能排除不满足查询条件的数据块和文件不能定位到行也不支持文本分词。

BloomFilter

Bloom

判断某个值是否在数据块和文件中同样不能定位到行、不支持文本分词

点查索引包括

在排序的基础上根据给定的前缀列实现快速查询数据的索引方式能够对前缀索引的列进行等值、范围查询但不支持文本分词另外由于数据要按前缀索引排序、因此一个表只允许一组前缀索引。

Bitmap

索引记录数据值

的有序映射是一种很基础的倒排索引但是索引结构比较简单、查询效率不高、不支持文本分词。

原有索引结构很难满足日志场景实时文本检索的需求因此设计了全新的倒排索引。

倒排索引在设计和实现上我们采取了无侵入的方式、不改变

Segment

这个设计的好处是已有的数据文件无需修改可以做到兼容升级而且增减索引不影响数据文件和其他索引用户增建索引没有负担。

C和向量化实现

倒排索引库它的功能比较完整支持分词和自定义分词算法支持全文检索查询和等值、范围查询。

Apache

倒排索引进行了向量化优化包括分词、倒排表构建、查询等性能得到进一步提升。

整体来看

Doris

中不同列的倒排索引是相互独立的因此倒排索引文件也采用列式存储有利于向量化构建索引和提高压缩率。

~10倍的压缩比与常用的GZIP压缩相比有50%以上的空间节省且速度更快。

BKD

索引可以对范围查询提高性能存储空间也相对于转成定长字符串更加高效具有以下主要特性和优势

高效范围查询BKD

索引采用多维数据结构为范围查询带来高效率。

它能迅速定位数值或日期类型列中所需的数据范围降低查询时间复杂度。

存储空间优化与其他索引方法相比BKD

索引在存储空间使用上更高效。

通过聚合并压缩相邻数据块减少索引所需存储空间降低存储成本。

多维数据支持BKD

point和范围Range使其在处理复杂数据类型时具有高适应性。

此外我们在原有

优化低基数场景针对数值分布集中、单个数值倒排列表较多的低基数场景我们调整了针对性的压缩算法降低大量倒排表解压缩和反序列化所带来的CPU性能消耗。

预查询技术针对查询结果命中数较高的场景我们采用预查询技术进行命中数预估。

若命中数显著超过阈值可跳过索引查询直接利用Doris在大数据量查询下的技术优势进行数据过滤。

OLAP

日志存储和分析场景对检索的需求很简单不需要特别复杂的功能比如相关性排序更需要降低存储成本和快速按照条件查出数据。

因此在面对海量数据的写入和查询时Apache

Doris

在写入流程保证不会多个线程写入一个索引从而避免写入时多线程锁竞争的开销在存储结构上去掉了不必要的正排、norm

等文件减少写入

开销和存储空间占用查询过程中简化相关性打分和排序逻辑降低不必要的开销提升查询性能。

针对日志等数据有按时间分区、历史数据访问频度低的特点基于独立的索引文件设计Apache

Doris

指定分区构建倒排索引比如新增一个索引的时候指定最近7天的日志构建索引历史数据不建索引指定分区删除倒排索引比如删除超过1个月的日志的索引释放访问频度低的索引存储空间

性能测试

以及测试工具下记录并对比各自的数据写入时间、吞吐以及查询延迟。

测试数据esrally

Feature将倒排索引作为实验性功能发布因此我们同样进行了跟

Clickhouse

参考文章https://clickhouse.com/blog/clickhouse-search-with-inverted-indices

测试数据Hacker

对于字符串类型的全文检索和普通数值、日期等类型的等值、范围检索具有更高效的支持进一步提升了数据查询的效率和准确性对于大规模日志数据查询分析有了更好的性能表现为需要检索能力的用户提供了更高性价比的选择。

等常用

在半结构化数据分析方面还有更多能力扩展比如自动根据导入数据扩展表结构的

Dynamic

Table、丰富的复杂数据类型Array、Map、Struct、JSONB以及高性能字符串匹配算法等。

Doris

的高并发点查询能力、基于对象存储的冷热数据分离、基于代价模型的全新查询优化器以及

Pipeline

技术团队过往发布的技术博客其他功能的使用介绍请参考社区官方文档同时也敬请持续关注我们后续发布的特性解读系列文章。

为了让用户可以体验社区开发的最新特性同时保证最新功能可以收获到更广范围的使用反馈我们建立了

2.0.0

版本的专项支持群欢迎广大社区用户在使用最新版本过程中多多反馈使用意见帮助

Apache