一、 日志文件位置

• NameNode运行日志位于/var/log/Bigdata/hdfs/nn/审计日志在/var/log/Bigdata/audit/hdfs/nn/。
• DataNode运行日志位于/var/log/Bigdata/hdfs/dn/审计日志在/var/log/Bigdata/audit/hdfs/dn/。

二、 常用分析命令

• 基础查看用catlesstail -f查看日志内容，如tail -f /var/log/Bigdata/hdfs/nn/hadoop-namenode-*.log实时监控NameNode日志。
• 关键词搜索用grep筛选特定日志，如grep 'ERROR' /var/log/Bigdata/hdfs/dn/hadoop-datanode-*.log查找DataNode的错误日志。
• 日志统计用awk统计错误频率，如awk '/ERROR/{print $5}' | sort | uniq -c | sort -nr。

三、 专业工具分析

• ELK Stack通过Logstash采集日志，Elasticsearch存储，Kibana可视化分析，适合大规模日志的集中管理。
• Logstash/Splunk支持日志过滤、 搜索、可视化，可处理海量日志并生成告警。

四、 分析重点

• NameNode重点关注WARN和ERROR级别日志，单独分析GC日志，排查元数据异常、RPC通信问题等。
• DataNode监控磁盘状态、 数据块同步错误，通过hdfs fsck命令辅助分析块损坏问题。

五、 日志轮转与归档

• 通过logrotate配置日志轮转，避免单个文件过大，如每天轮转并保留7天备份。

六、 自动化监控

• 编写脚本结合cron定时施行日志分析，比方说检测副本不足块并发送告警。

---