在日常运维中，日志文件像是无声的记录者，却也会悄悄把磁盘填满。当你看到 /var/log/filebeat/ 里堆积如山的 .log 文件时是不是有点心慌？别担心， 这篇文章会手把手教你用系统自带的 logrotate 或者 Filebeat 本身的配置，让日志自动切割、压缩、归档，从而大幅提升日志管理的效率，太暖了。。

一、先说说为什么要分割日志

• 磁盘空间不够： 单个巨大的日志文件往往会导致磁盘瞬间告警。
• 检索速度慢： Elasticsearch 在读取超大文件时会出现卡顿。
• 平安合规： 某些行业要求保留最近 N 天的日志并压缩归档。
• 运维体验： 自动轮转后你再也不用每周跑脚本手动删文件了。

下面就来看看两种主流方案——系统级 logrotate和Filebeat 内置的日志分割功能——各自怎么玩儿，搞起来。。

二、使用 logrotate 实现 Filebeat 日志轮转

1️⃣ 创建 logrotate 配置文件

/etc/logrotate.d/ 目录专门放每个服务的轮转规则。我们新建一个叫 filebeat 的配置文件， 内容如下：，太水了。

/var/log/filebeat/*.log {
    daily               # 每天轮转
    rotate 7            # 保留最近7天
    compress            # 使用 gzip 压缩旧文件
    delaycompress       # 延迟压缩，避免正在写入的文件被压缩
    missingok          # 文件不存在也不报错
    notifempty          # 空文件不处理
    create 640 root adm # 新文件权限和属主
}

YYDS... 这段配置告诉 logrotate：每天检查一次 /var/log/filebeat/*.log如果有变化就生成一个新文件，旧文件保留七天并压缩。看起来很简单，却能解决大多数场景。

2️⃣ 安装并启动 logrotate

# yum install -y logrotate
# systemctl enable --now crond   # 确保 cron 正常运行， 主要原因是 logrotate 默认由 cron 调度

TIPS：If you’re using CentOS 7+ cron job lives in /etc/cron.daily/logrotate, 不需要额外操作，只要确保 cron 正常即可。

3️⃣ 手动测试一下配置是否生效

# logrotate -d /etc/logrotate.d/filebeat   # -d 表示调试模式， 不真的施行
# logrotate -f /etc/logrotate.d/filebeat   # -f 强制施行一次轮转

极度舒适。 施行完后你应该能在同目录看到类似 .log.1.gz、.log.2.gz … .log.7.gz 的压缩包。打开看看，里面仍然是完整的 JSON 行或原始文本，一切正常！ 🎉

三、 在 Filebeat 配置里配合 logrotate 工作

Filebeat 本身不负责切割，但它可以感知到新产生的日志文件。如果你使用了上面的 logrotate， 只需确保 Filebeat 的输入路径指向正确，并适当调小扫描间隔，让它及时发现新文件，不夸张地说...。

# /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/filebeat/*.log
  scan_frequency: 10s      # 每十秒扫描一次目录
  ignore_older: 72h        # 忽略超过72小时的旧文件
output.elasticsearch:
  hosts: 

躺赢。 TIPS：If you notice “no new lines” after rotation, try setting end_of_line: " ", 有时 Windows 换行符会闹点小脾气。

4️⃣ 重启服务让改动生效

# systemctl restart filebeat
# systemctl status filebeat   # 确认没有报错
# journalctl -u filebeat -f   # 实时查看采集状态

四、 Filebeat 自带的简易分割

If you really don’t want依赖外部工具，可以利用 Filebeat 的内部参数实现“伪”分割。比方说使用 buckets_path:? 不对， 那是 MetricBeat…好吧，其实 Filebeat 没有直接切割功能，但我们可以借助它的"logging.file" 参数配合外部脚本实现。

a) 使用 logging.file.keepfiles 参数限制保留数量

# /etc/filebeat/filebeat.yml 中添加：
logging.file:
  enabled: true
  path: /var/log/filebeat/
  name: filebeat.log
  keepfiles: 5               # 最多保留5个历史日志文件
  rotateeverybytes: 10485760 # 达到10MB后滚动一次

换个角度。 This setting makes Filebeat itself generate rolling logs like "filebeat.log", "filebeat.log.1", …". 对于只想记录自身运行状态的小伙伴非常实用。

b) 编写自定义脚本配合 “exec” 输出

If you have特殊业务需求， 比方说按照业务线分别保存，可以让 Filebeat 把采集到的数据通过 exec 插件喂给自定义脚本，由脚本自行决定如何命名和压缩。这种方式灵活度最高，但需要一定 Bash/Python 能力，卷不动了。。

# 示例：将采集到的数据写入每日一个独立文件 
output.console:
  enabled: true
processors:
- script:
    lang: javascript
    id: split_by_date
    source: |
      function process {
        var d = new Date;
        var fname = "/var/log/split/"+d.getFullYear+"-"++1)+"-"+d.getDate+".log";
        event.put;
      }
output.file:
  path: "/dev/null"
  filename: "ignore"
output.exec:
  command: "/usr/local/bin/write_to_file.sh %{target_file}"

五、 方案对比表格

六、 最佳实践 & 常见坑点排查指南 🚧

• # 定期检查磁盘占用： 即使用了轮转，也建议每周跑一次 # df -h /var/log/filebe​at && du -sh /var/log/filebe​at/*gz | sort -hr | head -n5 防止意外增长。
• # 保证权限一致： Logrotate 创建的新文件默认属主 root·adm， 如果你的应用以非 root 用户写入，请相应修改 Create ... root adm → youruser yourgroup;
• # 防止“丢失”事件： 如果在轮转瞬间 Filebe​at 正在写入，它可能读不到新行。此时请开启 closeinactive : “5m” 或者 “scanfrequency : “30s”。
• # 多实例监控：若服务器上跑多个 Beat， 记得为每个 Beat 单独建一个 Logro tate 配置，否则可能互相覆盖。
• # 测试环境先跑通：强烈建议先在测试机上施行完整流程， 包括重启 beat、手动触发轮转，然后确认 ES 中对应索引是否正常增长。
• # 查看错误日志：若发现 beat 停止采集，可查看 /var/l og/f i lebea t/f i lebea t.log 以及系统 journal 中关于 Logr otate 的报错信息。

 祝大家玩得开心，如果还有其他细节想探讨，欢迎留言交流～

©2026 技术分享站 | Powered by Elas 一句话。 tic Stack & CentOS Community.