。

它的设计初衷是为了解决在大规模分布式系统中#xff0c;处理海量日志的问题。

Loki采用了分布式的架构#xff0c;并且与Prome***us、Graf…一、Loki是什么

Labs开源的一个水平可扩展、高可用性多租户的日志聚合系统的日志聚合系统。

它的设计初衷是为了解决在大规模分布式系统中处理海量日志的问题。

Loki采用了分布式的架构并且与Prome***us、Grafana密切集成可以快速地处理大规模的日志数据。

该项目受

Prome***us

不对日志进行全文索引。

通过存储压缩非结构化日志和仅索引元数据Loki的存储更加轻量操作更加简单更加节省成本。

通过使用与

Prome***us

相同的标签记录流对日志进行索引和分组这使得日志的扩展和操作效率更高。

天然适合存储Kubernetes

Pod

标签之类的元数据会被自动处理特点适合云云原生场景的应用日志处理。

Grafana

二、Loki架构和功能

Loki负责存储日志和处理查询。

Promtail日志收集的代理负责在各端收集日志并将其发送给

Loki

也正是因为这个原因通过这些标签既可以查询日志的内容也可以查询到监控的内容这两种查询被很好的兼容节省了分别存储相关日志和监控数据的成本也减少了查询的切换成本。

日志收集Loki可以接收来自不同应用程序、主机和容器的日志数据。

日志存储Loki使用可扩展的分布式存储后端存储日志数据包括本地存储和云存储。

日志查询Loki提供了一个高效的查询语言可以快速地搜索和过滤日志数据。

日志索引Loki使用标签索引和压缩算法对日志数据进行索引可以大大减少存储空间和查询时间。

日志警报Loki可以根据日志数据中的条件触发警报并将警报发送到警报通道。

可以看到作为一个日志处理系统从收集、存储、查询、告警支持都是比较全面的配合Grafana也能够比较好实现可视化相关组件也比较简单。

ELK是大规模日志解决方案中的佼佼者所以说到Loki免不了要拿来跟ELK做个对比。

两者都是日志解决方案有相似之处也有诸多不同。

ELKElasticsearch、Logstash、Kibana架构中Logstash用于日志收集和处理Elasticsearch用于存储和索引Kibana用于可视化和查询。

而Loki则采用了分布式架构将日志数据存储在多个节点上Promtail进行日志收集可视化依赖于Grafana。

ELK使用Elasticsearch作为存储和索引引擎Elasticsearch需要使用大量的硬盘空间和内存。

而Loki使用了紧凑的索引和压缩算法可以大大减少存储空间。

ELK使用Lucene作为查询引擎可以快速地搜索和过滤大规模的日志数据。

但是在数据量过大和查询复杂度高一些的情况下查询速度会变慢。

Loki使用自己的查询语言查询的场景一般也比较简单可以快速地搜索和过滤日志数据。

ELK的部署比较复杂需要安装和配置多个组件。

而Loki则采用了单一二进制文件的方式部署比较简单。

3.1.1、Loki优势

轻量级相比ELKLoki更加轻量级因为它不需要一个单独的Elasticsearch集群来存储和索引日志数据。

Loki具有较低的硬件要求可以在较小的硬件上运行例如使用少量内存和CPU。

高度可扩展性Loki可以通过添加更多的Loki实例来实现水平扩展这使得它更容易处理大量的日志数据。

简化的存储架构Loki将日志数据存储在一个单一的列式存储引擎中这使得它更容易维护和管理。

支持日志标签Loki可以使用标签来过滤和查询日志数据这使得它更加灵活。

直接支持Prome***usLoki与Prome***us深度集成这使得在Prome***us查询中使用Loki日志数据更加容易。

可伸缩性Loki具有更好的可伸缩性可以轻松地添加和删除节点以适应数据量的变化而ELK需要更多的配置和管理工作来保持可伸缩性。

较少的可视化选项Loki的可视化选项相对较少因为它是一个相对较新的日志管理和分析工具。

学习曲线较陡峭Loki使用的是自己的查询语言LokiQL这需要一定的学习曲线。

需要额外的组件虽然Loki本身是一个相对较小的组件但它需要配合Promtail等其他组件来实现完整的日志管理和分析解决方案。

3.2.1、ELK优势

成熟的生态系统ELK已经有了一个成熟的生态系统并且已经被广泛地使用和测试。

多样化的可视化选项ELK提供了各种各样的可视化选项包括基于时间序列的图表、热力图、地图等等。

丰富的插件库ELK有丰富的插件库可以方便地扩展其功能。

易于学习ELK使用的是标准的查询语言如Lucene查询语法和Elasticsearch查询DSL这使得它相对容易学习。

相对重量级ELK需要一个单独的Elasticsearch集群来存储和索引日志数据这使得它相对较重。

复杂的存储架构ELK使用的是分布式存储引擎这使得它的存储架构相对复杂。

相对复杂的部相对复杂的部署和管理ELK需要安装和配置多个组件例如Elasticsearch、Logstash和Kibana这使得它的部署和管理相对复杂。

较高的硬件要求由于ELK需要处理大量的日志数据因此需要大量的存储和处理能力这可能需要更高的硬件要求和更大的部署成本。

总体而言Loki和ELK都是优秀的日志解决方案适合不同的使用场景。

Loki相对轻量级具有较高的可扩展性和简化的存储架构但需要额外的组件和有一定的学习曲线。

ELK则具有丰富的可视化选项和插件库易于学习但相对重量级需要复杂的存储架构和较高的硬件要求部署和管理也比较复杂。

具体如何选择取决于具体场景若是数据量适中数据属于时序类如应用程序日志和基础设施指标并且应用使用kubernetes

Pod形式部署则选择Loki比较合适而ELK则适合更大的数据集和更复杂的数据处理需求以及更多其他组件的日志收集场景。

四、Loki安装部署

Compose文件。

配置Loki包括日志收集和存储。

启动Loki服务测试

4.1、Docker和Docker

https://download.docker.com/linux/centos/docker-ce.repo安装

Docker

之前建议先确保系统已经安装了最新版本的软件包和依赖。

如果之前已经安装了旧版本的

Docker

docker-compose.yml编辑docker-compose.yml文件添加以下内容

version:

Compose文件定义了一个Loki服务使用最新的grafana/loki镜像将3100端口映射到主机同时将配置和数据目录挂载到主机上。

在配置目录下创建一个local-config.yaml文件用于配置Loki的日志收集和存储。

这个文件可以定义多个日志收集器每个收集器都有一个唯一的名称。

auth_enabled:

24hstorage_config:boltdb:directory:

/data/loki/indexfilesystem:directory:

/data/loki/chunksingester:lifecycler:address:

1heartbeat_timeout:

auth_enabled是否开启认证。

serverHTTP和gRPC服务监听地址。

schema_config配置日志索引和存储。

storage_config配置日志存储后端。

ingester配置日志收集。

4.4、启动Loki服务测试

ps如果Loki服务正在运行应该能够看到一个名为“loki_loki_1”的Docker容器。

此时可以使用Loki的API或者Promtail将日志数据发送到Loki然后通过Loki的查询语言查询日志数据。

在浏览器中访问http://localhost:3100/进入Loki的Web

UI提供了一个交互式的查询界面可以输入查询语言和过滤条件查询日志数据。

{jobexample-job}这将返回所有标签job值为“example-job”的日志条目。

还可以使用聚合函数和表达式来对日志数据进行处理和分析。

例如以下查询语句将计算每个标签instance的平均值并返回结果

avg_over_time({jobexample-job}[5m])

(instance)此外Loki还提供了许多其他有用的功能如警报、日志流水线和故障排除等。

这些功能可以帮助用户更方便地管理和分析日志数据。