1. 简介

Filebeat是一个轻量级的数据收集器， 它可以收集日志文件、系统事件等数据，并将数据发送到指定的输出目标，如Elasticsearch、Logstash等。在Debian系统上，通过自定义Filebeat配置文件，可以实现对日志数据的精细化管理。

2. 准备工作

在开始定制Filebeat配置文件之前，请确保已经安装了Filebeat。

1. 下载Filebeat安装包：从官网下载Filebeat安装包。
2. 解压安装包：使用tar命令解压下载的安装包。
3. 设置环境变量：在~/.bashrc文件中添加以下内容：
4. source ~/.bashrc

3. 定制Filebeat配置文件

3.1 修改配置文件

Filebeat配置文件位于/etc/filebeat/filebeat.yml。打开该文件进行修改。

filebeat: # 格式化输出日志 output.elasticsearch: hosts: index: "filebeat-%{}-%{+YYYY.MM.dd}" # 监听指定路径下的日志文件 prospectors: - type: log paths: - /var/log/.log # 定义日志文件的读取方式 document_type: "log" # 过滤不感兴趣的日志行 ignore_lines: - "^\s#" # 添加更多监控路径 - type: log paths: - /var/log/apache2/.log document_type: "apache2" ignore_lines: - "^\s#" # 设置日志文件的最大轮询时间 idletimeout: 5m # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignorelines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件 ignorefile: /var/log/filebeat.log # 设置日志文件的保留天数 maxfileage: 7d # 设置日志文件的保留文件数量 maxlines: 5000 # 设置日志文件的轮询间隔时间 period: 10s # 设置日志文件的轮询时间 timeout: 10s # 设置日志文件的读取方式 documenttype: "log" # 过滤不感兴趣的日志行 ignore_lines: - "^\s*#" # 设置日志文件的编码格式 encoding: utf-8 # 设置日志文件的字符集 charset: utf-8 # 设置日志文件的忽略文件

---