📖 认识日志分析的痛点与工具选择

在日常运维中，面对数百兆甚至几千兆的 access.log 或程序日志。手动 grep、awk、tail -f 已经无法满足高效排障的需求。日志文件太大，搜索耗时，又因为多源、多格式，单一工具往往只能解决部分问题。

针对这些痛点，Logwatch 与 GoAccess 两款工具分别在程序安全巡检和 Web 访问分析上提供了自动化、可视化与定时报告功能。从而让运维人员能“一眼看清”程序状态与流量热点。

🔧 Logwatch：程序日志的“看门狗”

. 安装与基本使用

# CentOS/RHEL
yum install -y epel-release
yum install -y logwatch
# Ubuntu/Debian
apt install -y logwatch
# 查看默认配置
cat /usr/share/logwatch/default.conf/logwatch.conf
# 单次生成报告
logwatch --detail High --service All --range today --print
# 常用参数组合示例
logwatch --detail Med --service sshd --range yesterday --print
logwatch --detail High --service pam_unix --range "5 days ago" --print

. 配置关键项说明

/usr/share/logwatch/default.conf/logwatch.conf
Detail = High # 报告详略: Low / Med / High
MailTo = root # 收件人，可改为
Range = yesterday # 时间范围: yesterday,today,all
Service = All # 监控服务，可指定 sshd,sudo。yum...
Format = text # 输出格式: text / html

多服务监控示例：

logwatch --service sshd \
--service sudo \
--range today \
--print

🔧 GoAccess：Web 日志的实时雷达

. 安装方式

yum install -y goaccess # RHEL/CentOS/Fedora
# 或从源码获取最新版
wget https://tar.goaccess.io/goaccess-1.xx.tar.gz
tar xzf goaccess-1.xx.tar.gz && cd goaccess-1.xx/
./configure \
--enable-utf8 \
--enable-geoip=mmdb \
&& make && make install

. 基础命令示例

goaccess /var/log/nginx/access.log \
--log-format=COMBINED \
-o /var/www/html/report.html
# 实时模式
goaccess /var/log/nginx/access.log \
-o /var/www/html/realtime.html \
--real-time-html
# 指定日期/时间格式
goaccess /var/log/nginx/access.log \
–log-format='%h %^ "%r" %s %b "%R" "%u" "%^"' \
–date-format='%d/%b/%Y' –time-format='%T' \
–output=/var/www/html/custom_report.html

. 自定义 Nginx 日志格式支持

Nginx 如果用了非标准日志格式，需要在 GoAccess 中显式指定对应占位符。

# /etc/nginx/nginx.conf
log_format main '$remote_addr - $remote_user "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

接下来在 GoAccess 调用中匹配该格式：

goaccess /var/log/nginx/access.log \
–log-format='%h - %^ "%r" %s %b "%R" "%u" "%^"' \
–date-format='%d/%b/%Y' –time-format='%T' \
–output=/var/www/html/report.html

🧪 实操案例：每天一次完整日志巡检流水线

. 场景概述：程序 + Web 日志双重监控

目标是每天自动生成两份报告：

• 程序安全巡检报告
• Web 访问热力图 & 流量统计

. 自动生成 GoAccess HTML 报告脚本与 cron 配置：

DATE=$ LOGFILE="/var/log/nginx/access.log" OUTDIR="/var/www/html/reports"

mkdir -p $OUTDIR

goaccess $LOGFILE \ –log-format=COMBINED \ –output=$OUTDIR/report-$DATE.html \ –real-time-html # 若想实时刷新。可删除此行

find $OUTDIR -name 'report-*.html' \ -mtime +30 \ -delete

bash chmod +x /usr/local/bin/gen-log-report.sh

crontab -e # 添加每日执行任务 0 2 * * * /usr/local/bin/gen-log-report.sh> /dev/null 2>&1

ls -l /etc/cron.daily/0logwatch && chmod +x /etc/cron.daily/0logwatch

. 手动快速检查示例：

echo "=== 今日 SSH 登录异常 ==="
logwatch \
—service sshd \
—range today \
—print | grep -iE 'failed|invalid|error'

echo "=== 访问量 Top IP ===" goaccess $LOGFILE \ –log-format=COMBINED \ –output=- | awk '/Visitors/ {print $NF}'

⚠️ 常见坑点 & 注意事项汇总

. Logwatch 与 syslog 格式冲突

• 如果你开启了 rsyslog 的自定义模板 )，Logwatch 有可能无法正确解析。
• 方法的观点是，保持默认 syslog 格式；或者在 /usr/share/logwatch/scripts/services/​* 下添加自定义过滤脚本。
• 记得检查 /etc/sysconfig/syslog-ng‑conf.d/*/*.conf'.

. GoAccess 日志格式必须精确匹配

• 先确认 Nginx 的 log_format 定义；话说回来，可以通过查看 nginx.conf 或执行 `nginx -T`。
• `goaccess` 提供 debug 模式：`goaccess …--debug-file=/tmp/debug.log` 用于定位解析错误。话说回来，
• `COMBINED` — Nginx 默认 combined 格式。
• `VCOMBINED` — 带 X‑Forwarded‑For 的 版。
• `W3C` — IIS 标准格式。
• `CUSTOM` — 自己写正则表达式。
]

.

. 大型日志文件性能考虑

• GoAccess 在加载 1 GB+ 日志时内存使用会高达 ~400 MB。建议按日拆分或使用 `--date-spec=day` 限制范围。
• Mozart‑style：利用 `split` 分割文件后逐个分析，再合并结果。
• Sparse memory consumption —— Logwatch 对大文件采用流式处理。内存使用极低，适合长期保留完整 syslogs。

. 防止报告泄露敏感信息至公网

• `report.html` 中包含 IP、UA、URL 等敏感字段。若部署在公共网络下应加一道鉴权层。从常见做法来看，Nginx Basic Auth 或 OAuth 门户。
nginx location ^~ /logs-reports/ { alias /var/www/html/reports/;auth_basic "Ops Dashboard";auth_basic_user_file ~/.htpasswd;} bash htpasswd -c ~/.htpasswd ops_user ### h5. Logwatch 邮件未收到？话说回来，排查步骤
• `mailq | less` 检查队列是否堆积。若无邮件发送记录，请确认 postfix/sendmail 正常运行。
• `postconf mailer_maps | grep local_transport` 查看是否配置正确；如果未安装 sendmail，则需自行配置 Postfix 为本地 MTA 并启用 `local_transport`. ​​​​​​ ​ ​​ ​ .

---

一句话这方面。Logwatch 是程序安全的守护者，GoAccess 是 Web 流量的实时雷达——两者结合，让运维拥有“上帝视角”，从而快速定位问题、及时响应危机。

---