。

作为一个刚刚跨行到大数据领域的新手,我感觉自己就像是被丢进了深海的小鱼—周围全是陌生的概念和技术。

还记得我第一次听说Doris这个名字时的情景吗?那是在一个炎热的夏日午后,我正在办公室里为接下来的大数据项目发愁。

作为一个刚刚跨行到大数据领域的新手,我感觉自己就像是被丢进了深海的小鱼—周围全是陌生的概念和技术。

就在这时,我的导师拍了拍我的肩膀,说:“嘿,你听说过Doris吗?它可能是你需要的解决方案。

”

我一脸茫然地看着他,心想:“Doris?这不是我奶奶的名字吗?”

于是,我的Doris学习之旅就这样开始了。

今天,我想和大家分享我是如何以糙快猛的方式学习Doris的,希望能给同样面临学习新技术挑战的你一些启发。

引言:大数据世界的新玩家Doris是什么?学习Doris的糙快猛之路1.

不求甚解,先跑起来2.

Doris与云原生的结合使用Helm部署Doris使用Operator管理Doris

18.

Doris与新兴技术的结合5G与边缘计算AI与Doris的深度集成区块链数据分析

Doris查询优化的艺术分区剪枝物化视图优化子查询优化使用EXPLAIN分析查询计划

27.

Doris与Hadoop生态系统的深度集成与Hive的集成与Spark的集成与Flink的集成

28.

Doris在复杂数据分析场景中的应用实时OLAP分析时序数据分析图数据分析

29.

Doris是一个现代化的MPP(大规模并行处理)分析型数据库,专为快速分析而生。

它支持多维分析,能够处理结构化和半结构化数据,并提供亚秒级的查询响应时间。

简单来说,Doris就像是一个超级强大的Excel,可以处理海量数据,并且能快速给出你想要的分析结果。

不求甚解,先跑起来

记得刚开始学Doris时,我看着那厚厚的文档,心里一阵发怵。

但我很快想到了我的座右铭:“糙快猛,就是干!”

于是,我决定先不管那么多,把Doris安装运行起来再说。

我找到了Doris的快速入门指南,照着步骤一步步来:

下载Doris

https://downloads.apache.org/doris/1.2/apache-doris-1.2.0-bin-x64.tar.gz#

tar

apache-doris-1.2.0-bin-x64.tar.gz#

启动BE

--daemon看着Doris成功启动,我兴奋地直拍大腿:“哎呀我去,这也太简单了吧!”

从简单查询开始

有了运行的Doris,下一步就是尝试一些简单的操作。

我决定先创建一个表,然后插入一些数据:

创建数据库

my_table;看到查询结果出现在屏幕上,我忍不住喊了一声:“芜湖,起飞!”

拥抱错误,快速迭代

学习的过程中难免会遇到错误。

记得有一次,我试图导入一个大文件,结果遇到了内存不足的问题。

我没有气馁,而是迅速查阅文档,找到了解决方案:

设置会话变量,增加内存限制

INFILE(hdfs://your-hdfs-path/large_file.csv)INTO

TABLE

)每解决一个问题,我都会感到一阵成就感。

这种不断尝试、犯错、解决的过程,让我的学习速度突飞猛进。

利用AI助手,事半功倍

在学习过程中,我发现ChatGPT等大模型可以成为24小时不打烊的助教。

每当遇到不懂的概念或复杂的查询,我就会向AI提问:

“当然,Doris中的前缀索引是一种用于加速查询的数据结构。

它主要用于字符串类型的列,通过索引字符串的前缀来提高查询效率。

例如,如果你有一个很长的URL列,你可以创建一个前缀索引来加速对URL开头的搜索…”

有了AI的帮助,我的学习效率大大提高,不再因为一些小问题卡住很长时间。

总结:在不完美中前行

回顾我的Doris学习之路,我深刻体会到糙快猛学习方法的威力。

它让我能够:

快速上手,不被繁复的细节所困扰在实践中学习,加深对知识的理解勇于尝试,从错误中吸取教训充分利用现代工具,如AI助手,辅助学习

记住,学习新技术不需要一开始就追求完美。

在不完美的状态下前行,反而可能是最高效的学习姿势。

就像我从一个对大数据一无所知的新手,逐渐成长为能够熟练使用Doris的开发者,这个过程虽然充满挑战,但也充满了乐趣。

最后,我想对所有正在学习新技术的朋友说:别怕犯错,别怕不完美。

拥抱糙快猛的学习方式,你会发现,原来技术学习可以这么有趣,这么高效!

现在,轮到你了。

准备好开始你的Doris学习之旅了吗?记住,糙快猛,就是干!

深入Doris:从入门到进阶

既然我们已经踏上了Doris学习之路不如再深入一些探索Doris的更多特性和应用场景。

记住我们依然保持糙快猛的学习态度但同时也要逐步提升技术深度。

在使用Doris一段时间后我意识到理解其数据模型对于优化查询性能至关重要。

Doris主要支持两种数据模型明细模型和聚合模型。

明细模型

明细模型适合存储原始数据每一行数据代表一个独立的事件或实体。

例如

CREATE

10;理解这两种模型后我可以根据实际需求选择合适的模型这对于优化存储和查询效率都很有帮助。

学习过程中我发现Doris还有许多强大的高级特性。

比如说Doris的物化视图功能就让我眼前一亮。

创建物化视图

action_type;创建物化视图后当我需要查询每日每种操作的独立用户数时Doris会自动使用这个物化视图大大提高了查询速度。

性能调优让Doris飞起来

随着数据量的增加我开始关注如何提升Doris的性能。

除了选择合适的数据模型和使用物化视图外我还学会了一些其他的调优技巧

合理设置分桶数

3);这些优化措施让我的Doris集群性能有了显著提升查询速度飞快我心里那个小人儿又开始得意地喊“看我把Doris玩儿明白了吧”

在深入学习Doris的过程中我发现Doris并不是孤立存在的它可以很好地与其他大数据工具协同工作。

比如

使用Flink

CDC实时同步MySQL数据到Doris通过Spark读写Doris数据使用DataX进行数据迁移

import

org.apache.spark.sql.SparkSessionval

spark

SparkSession.builder().appName(DorisSparkReader).getOrCreate()val

dorisDF

spark.read.format(doris).option(doris.table.identifier,

mydatabase.mytable).option(doris.fenodes,

fe_host:8030).load()dorisDF.show()这段代码让我感叹原来Doris可以这么轻松地与Spark集成

在Doris的学习旅程中我逐渐发现这个强大的MPP数据库系统还有很多有趣的特性和应用场景。

让我们一起来探索一下Doris的更多玩法继续我们的糙快猛学习之旅

随着项目的推进我需要处理越来越多的数据导入任务。

Doris提供了多种数据导入方式每种都有其适用场景

批量导入

http://fe_host:8030/api/example_db/example_tbl/_stream_load实时导入

对于实时数据我会使用Routine

(desired_concurrent_number3,max_batch_interval

20,max_batch_rows

broker1:9092,broker2:9092,broker3:9092,kafka_topic

doris_consume_group,property.kafka_default_offsets

OFFSET_BEGINNING

);这段配置让我能够持续从Kafka读取数据并导入Doris实现了近实时的数据分析。

10.

随着对Doris的深入了解我发现Doris的SQL功能非常强大支持很多高级用法

窗口函数

user_id,action_time,action_type,SUM(action_count)

OVER

b.user_id;这个查询可以高效地找出总订单金额超过1000的用户。

11.

在生产环境中使用Doris高可用性和可扩展性是必不可少的。

我学会了如何配置Doris集群以实现这些目标

配置多个Follower

be_host:9050;这些操作让我能够根据业务需求灵活调整Doris集群的规模和性能。

12.

随着AI技术的普及我开始探索如何将Doris与机器学习模型结合实现预测性分析。

虽然Doris本身不直接支持机器学习但我们可以通过以下方式实现

使用Doris进行数据预处理和特征工程将处理后的数据导出到支持机器学习的平台如Spark

MLlib训练模型并生成预测结果将预测结果导回Doris进行存储和进一步分析

例如我们可以使用Doris预处理用户行为数据然后使用Spark训练一个简单的推荐模型

from

SparkSession.builder.appName(DorisMLPipeline).getOrCreate()#

从Doris读取数据

\.option(doris.table.identifier,

fe_host:8030)

\.option(doris.table.identifier,

example_db.item_recommendations)

fe_host:8030)

\.save()这个例子展示了如何利用Doris的数据处理能力结合Spark的机器学习功能实现一个简单的推荐系统。

随着我在Doris上的技能不断提升我有幸参与了几个大型企业项目。

这些经历让我对Doris在企业环境中的应用有了更深入的理解。

让我们一起来看看Doris在企业级应用中的一些实战经验和高级技巧。

13.

在处理海量数据时性能调优变得尤为重要。

以下是一些我在实践中总结的调优技巧

分区策略优化

根据业务特点选择合适的分区策略是提升性能的关键。

例如对于时间序列数据

CREATE

在一个大型数据分析项目中我们需要将Doris与Hudi数据湖集成。

这涉及到了Doris的外部表功能

CREATE

COPY_ON_WRITE,hudi.streaming.read.enable

true,hudi.streaming.read.start.commit

20230101000000,hive.metastore.uris

);这允许我们在Doris中直接查询Hudi数据实现了数据湖和数据仓库的无缝集成。

15.

在一个电商平台的实时数据分析项目中我们使用Doris实现了近实时的销售数据分析。

这涉及到了Doris的实时数据导入和快速聚合查询能力。

实时数据导入

CDC来捕获MySQL中的实时订单数据然后通过Doris的Stream

Load

StreamExecutionEnvironment.getExecutionEnvironment();MySqlSourceString

mySqlSource

MySqlSource.Stringbuilder().hostname(mysql_host).port(3306).databaseList(retail_db).tableList(retail_db.orders).username(username).password(password).deserializer(new

JsonDebeziumDeserializationSchema()).build();env.fromSource(mySqlSource,

WatermarkStrategy.noWatermarks(),

MySQL

realtime_orders));env.execute(MySQL

Doris

DESC;这个查询可以实时显示过去24小时内每小时的销售额和独立客户数。

16.

MLlib与Doris结合进行机器学习。

现在让我们更进一步看看如何将训练好的模型部署到生产环境中并与Doris集成以提供实时预测服务。

我们可以使用Flask创建一个简单的预测服务然后通过Doris的自定义函数UDF来调用这个服务

首先创建一个Flask应用来提供预测服务

joblib.load(recommendation_model.pkl)app.route(/predict,

methods[POST])

port5000)然后在Doris中创建一个UDF来调用这个预测服务

CREATE

file:///path/to/predict_udf.jar,class

com.example.doris.udf.PredictRating,method

evaluate

4.0;这个查询可以找出模型预测评分高于4.0的所有用户-物品对可以用于推荐系统。

随着我在Doris领域的不断深入我开始关注更多前沿的应用场景和技术趋势。

在这个快速发展的大数据时代Doris也在不断进化适应新的技术生态。

让我们一起探索Doris在云原生环境中的应用以及它的未来发展方向。

17.

随着云计算的普及将Doris部署在云环境中变得越来越常见。

我们来看看如何在Kubernetes

使用Helm部署Doris

Helm是Kubernetes的包管理工具我们可以使用它来简化Doris的部署过程。

Chart

./doris这种方式让我们可以更灵活地管理Doris集群轻松实现扩缩容和版本升级。

使用Operator管理Doris

Operator。

这让我们可以用Kubernetes原生的方式来管理Doris集群。

apiVersion:

16Gi使用Operator我们可以更方便地管理Doris的生命周期包括升级、扩缩容、备份恢复等操作。

18.

随着数据量的增长我们可能需要管理包含数百个节点的大规模Doris集群。

这里有一些我学到的管理技巧

自动化运维

使用Ansible或Terraform等工具来自动化集群的部署和管理

name:

serviceansible.builtin.service:name:

dorisstate:

使用Prome***us和Grafana来监控Doris集群的健康状态

15sscrape_configs:-

在企业环境中数据安全至关重要。

Doris提供了多层次的安全机制

认证与授权

(au***ntication_ldap_simple_server_host

ldap://ldap.example.com,au***ntication_ldap_simple_bind_root_dn

cnadmin,dcexample,dccom,au***ntication_ldap_simple_bind_root_pwd

admin_password

/path/to/server.crt,ssl_private_key_path

/path/to/server.key

作为一个快速发展的开源项目Doris正在向着更强大、更灵活的方向发展。

以下是一些值得关注的趋势

云原生支持的增强更好地支持容器化部署和云环境。

AI集成深度集成机器学习和人工智能能力。

实时分析能力的提升支持更低延迟的实时数据分析。

多模态数据支持除结构化数据外支持半结构化和非结构化数据的分析。

生态系统的扩展与更多大数据和AI工具的集成。

21.

让我们通过一个具体的案例来看看Doris如何在一个全球化电商平台中发挥作用

实时监控全球销售数据支持跨地域的数据分析处理高并发的用户查询请求

解决方案

在主要市场部署Doris集群使用Doris的跨集群复制功能同步数据。

实时数据接入

DESC;这个案例展示了Doris如何在复杂的全球化业务场景中提供高性能、实时的数据分析能力。

在我们的Doris学习之旅中我们已经探讨了很多技术细节和通用应用场景。

现在让我们深入到几个具体的行业看看Doris如何在这些领域发挥其强大的分析能力。

同时我们也将探讨Doris如何与新兴技术结合开创更多可能性。

22.

在金融行业实时风险控制是一个关键的应用场景。

让我们看看如何使用Doris构建一个高效的实时风控系统。

解决方案

数据接入使用Kafka实时接入交易数据实时计算利用Doris的流式导入功能实时处理数据风险评分使用Doris的UDF功能实现复杂的风险评分算法实时告警基于评分结果触发实时告警

核心实现

(filehdfs://path/to/risk_score_udf.jar,symbolcom.example.RiskScoreUDF,typeJAVA_UDF

);--

transaction_id,user_id,amount,transaction_time,calculate_risk_score(amount,

location,

100;这个方案允许我们实时计算每笔交易的风险分数并快速识别高风险交易。

23.

随着工业4.0的推进智能工厂成为了一个热门话题。

Doris如何在这样的场景中发挥作用呢

解决方案

边缘计算在工厂本地部署Doris边缘节点实现数据的初步处理数据同步将汇总后的数据同步到云端Doris集群实时监控创建仪表板实时监控生产状态预测性维护利用Doris对接机器学习模型预测设备故障

核心实现

*,detect_anomaly(avg_temperature,

avg_pressure,

50;这个方案实现了从边缘到云端的数据处理流程并能够实时检测潜在的设备异常。

24.

新零售模式要求将线上和线下渠道的数据进行无缝整合。

Doris如何助力这一过程呢

解决方案

数据整合使用Doris的外部表功能连接不同数据源实时同步利用Flink

CDC实时捕获变更数据统一分析创建跨渠道的统一分析视图个性化推荐结合机器学习模型实现实时个性化推荐

核心实现

channel,product_id,SUM(quantity)

price)

channel,product_id,SUM(quantity)

price)

offline_revenue,SUM(total_revenue)

total_revenue

20;这个方案实现了线上线下数据的无缝整合为全渠道分析提供了基础。

25.

随着技术的不断发展Doris也在与新兴技术不断融合开创新的应用场景。

5G与边缘计算

5G的低延迟特性与边缘计算相结合可以实现更接近数据源的实时分析。

我们可以在边缘节点部署轻量级的Doris集群处理本地数据然后将汇总结果传输到中心Doris集群。

在边缘节点部署Doris

/path/to/doris/config:/opt/apache-doris/conf

\apache/doris:1.2.0AI与Doris的深度集成

随着AI技术的发展我们可以考虑将更多的AI能力直接集成到Doris中

向量检索支持高效的向量相似度查询用于推荐系统或图像检索。

自然语言处理集成NLP模型支持文本数据的语义分析。

时间序列预测内置时间序列预测算法用于销售预测、设备监控等场景。

假设未来Doris支持向量检索

随着区块链技术的成熟分析区块链数据成为一个新的需求。

Doris可以作为区块链数据的分析引擎

CREATE

在我们的Doris学习旅程中我们已经探讨了许多基础概念、应用场景和行业案例。

现在让我们深入到一些更高级的主题包括性能优化技巧、与其他大数据技术的深度集成以及在复杂数据分析场景中的应用。

这些知识将帮助我们在实际项目中更好地发挥Doris的潜力。

26.

随着数据量的增长和查询复杂度的提高查询优化成为了一个关键话题。

让我们探讨一些高级的查询优化技巧。

分区剪枝

sale_date,product_id,SUM(amount)

product_id)

2023-01-01;通过分析执行计划我们可以找出潜在的性能瓶颈如全表扫描、低效的JOIN等。

27.

Doris作为一个开放的系统可以与Hadoop生态系统的多个组件进行深度集成从而构建更强大的数据分析平台。

CREATE

thrift://metastore_host:9083,database

default,table

使用Spark-Doris-Connector我们可以在Spark中高效地读写Doris数据

import

org.apache.spark.sql.SparkSessionval

spark

SparkSession.builder().appName(DorisSparkExample).getOrCreate()//

读取Doris数据

spark.read.format(doris).option(doris.table.identifier,

example_db.table_name).option(doris.fenodes,

处理数据

dorisDf.groupBy(column_name).count()//

写回Doris

resultDf.write.format(doris).option(doris.table.identifier,

example_db.result_table).option(doris.fenodes,

使用Flink-Doris-Connector我们可以实现实时数据处理和分析

import

org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import

org.apache.flink.table.api.bridge.java.StreamTableEnvironment;StreamExecutionEnvironment

env

StreamExecutionEnvironment.getExecutionEnvironment();

tEnv

StreamTableEnvironment.create(env);//

创建Doris表

随着数据分析需求的日益复杂Doris也在不断进化以满足这些需求。

让我们看看Doris如何应对一些复杂的数据分析场景。

实时OLAP分析

100;这个例子展示了如何使用Doris进行实时的会话分析可以快速识别长时间和高互动的用户会话。

时序数据分析

sensor_id,timestamp,temperature,AVG(temperature)

OVER

timestamp;这个例子展示了如何使用Doris进行时序数据的聚合分析和滑动窗口分析。

图数据分析

尽管Doris不是专门的图数据库但我们可以使用它来进行一些基本的图分析

创建边表

e.target_id;这个例子展示了如何使用Doris进行简单的图分析包括查找两跳邻居和简化版的PageRank计算。

29.

作为一个快速发展的开源项目Doris正在不断优化和创新。

以下是一些值得期待的方向

查询优化器的持续改进更智能的CBO基于代价的优化器和RBO基于规则的优化器。

更好的存储引擎支持列存和行存的混合存储以适应不同的查询模式。

增强的AI集成内置更多机器学习算法支持更复杂的预测和分类任务。

更强大的实时分析能力优化流式数据处理支持更低延迟的实时分析。

云原生支持的加强更好地支持K8s等云原生环境简化部署和运维。

回顾我们的Doris学习之旅从最初的基础概念到现在探讨高级优化技巧和复杂分析场景我们见证了Doris的强大、灵活和不断进化的特性。

这个旅程不仅是对Doris的深入探索更是对整个大数据生态系统和分析技术的全面认识。

在这个技术快速迭代的时代糙快猛的学习方法让我们能够快速适应新技术在实践中学习和成长。

但同时我们也要记住真正的技术精进来自于在糙快猛的基础上的不断思考、实践和创新。

保持好奇心技术世界永远充满新知识保持对新事物的好奇和学习的热情。

深入原理不要满足于表面的应用要深入理解Doris的内部原理这将帮助你更好地优化和排障。

跨界思考将Doris与其他技术结合思考如何在更广阔的场景中应用它。

实践为王纸上得来终觉浅绝知此事要躬行。

不断在实际项目中应用所学才能真正掌握。

回馈社区将你的经验、发现甚至代码贡献给社区推动Doris的发展也提升