一、

Hadoop作为一款有力巨大的数据处理工具，其日志琢磨对于运维和睦安工事师来说至关关键。只是怎么在Linux上查看Hadoop日志，却常常成为许许多新鲜手头疼的问题。本文将带你一步步深厚入了解，让你轻巧松掌握这项技能。

二、 Hadoop日志概述

Hadoop日志基本上包括MapReduce服务和YARN服务的日志，其中MapReduce服务的日志包括JobTracker日志和各个TaskTracker日志，YARN服务的日志包括ResourceManager日志和NodeManager日志。

通常Hadoop的日志文件存储在Hadoop的安装目录下的logs文件夹中。在Hadoop 1.x版本中， MapReduce服务的日志位置如下：

• JobTracker日志：地址为主节点IP:50030
• TaskTracker日志：地址为主节点IP:50060

三、Linux Shell琢磨Hadoop日志

#!/bin/bash
# 查看Hadoop运行时的错误日志
hadoop fs -cat /app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-username-tasktracker-hostname-hadoop.log

这玩意儿脚本用了hadoop fs -cat命令，该命令能查看HDFS上的文件内容。

四、 查看日志的方法

在Linux系统中，查看Hadoop日志能采用以下几种方法和命令：

• 实时查看日志：用tail -f /var/log/messages命令，能实时查看系统日志的变来变去。
• 搜索关键字附近的日志：用grep命令，能搜索特定关键字的日志。
• 用vi/vim进行编辑查找：用vi/vim命令，能在日志文件中查找特定内容。

五、 Hadoop日志存放位置、存储规则和存储位置

Hadoop的日志文件通常位于以下几个目录：

• /usr/local/hadoop/logs/：Hadoop运行时的日志文件。
• /var/log/hadoop/：Hadoop的配置文件和日志文件。
• /app/hadoop-2.6.0-cdh5.7.0/logs/：Hadoop的运行日志。

还有啊，Hadoop日志的存储规则和存储位置能根据实际情况进行调整。

六、 案例分享

虚假设我们在查看Hadoop的日志时找到NodeManager进程启动不了控制台没有报错信息。这时我们能通过查看NodeManager的日志来定位问题。

在NodeManager的日志文件中，我们能看到以下错误信息：

java.io.FileNotFoundException: /app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-username-nodemanager-hostname-hadoop.log 

这说明NodeManager的日志文件不存在。我们能检查Hadoop的安装目录，确认NodeManager的日志文件是不是正常生成。

通过本文的介绍，相信你已经掌握了在Linux上查看Hadoop日志的方法。在实际干活中，熟练掌握日志琢磨技巧，能够帮我们飞迅速定位问题，搞优良干活效率。

---