Python 日志程序常见问题与方法

在实际开发中，我们经常会遇到各种日志程序相关的问题。

1. 日志重复输出问题

问题描述：日志总是输出两次甚至更多次控制台和文件都有重复记录

原因分析：

• 可能是多次添加了相同的handler
• 或者没有设置propagate=False
• 也可能是父logger和子logger都记录了相同信息

方法：

# 避免重复添加handler
if not logger.handlers:
logger.addHandler
# 对于模块日志，防止向上传播
logger.propagate = False
# 或使用配置文件控制传播
LOGGING_CONFIG = {
'loggers': {
'my_module': {
'handlers':,'level': 'DEBUG','propagate': False,# 不向上传播
},},}

2. 日志级别设置无效问题

问题描述：设置了日志级别但不生效，比如设置为INFO却看到DEBUG日志

• 可能是在错误的位置设置了级别
• 可能是父logger影响了子logger的级别继承
• 也可能是缓存导致配置未生效

# 正确设置方式：
logger.setLevel # 在logger上设置
# 强制刷新配置
logging.config.dictConfig
# 检查继承关系
print)}")
parent_logger = logger.parent
print
while parent_logger.parent:
parent_logger = parent_logger.parent
print
}
}

3. 大量日志导致性能下降问题

问题描述： 高频度写入大量日志严重影响应用性能

<强标原因分析：

• 频繁I/O操作耗时
• 没有使用异步处理
• 日志格式过于复杂导致CPU负载高
• 没有合理使用缓冲区

<强标解决方案：

<代码class="hljs language-python " lang="python ">
import logging.handlers import QueueHandler import threading from queue import Queue from time import sleep
def setup_async_logging:
queue = Queue
handler = QueueHandler
stream_handler = logging.StreamHandler
formatter = logging.Formatters - %s - %s - %s')
stream_handler.setFormatter
listener = logging.handlers.QueueListener(
queue。stream_handler,interval=0.5,respect_handler_level=True)
listener.start
root_logger = logging.getLogger
root_logger.addHandler
root_logger.setLevel
def cleanup:
listener.stop
threading.Thread.start
return root_logger
# Usage:
async_logger = setup_async_logging
async_logger.info
}

4 . 日志文件过大管理不善问题

<强标问题描述：

• 日志文件膨胀到几十GB导致硬盘空间不足
• 查询历史日志变得极其困难
• 应用崩溃时无法快速定位最近错误
• 没有实现自动轮转机制
• 未压缩旧日志文件占用大量空间
• 未按日期/服务拆分日志文件导致混乱

<代码class="hljs language-python " lang="python ">
from logging.handlers import TimedRotatingFileHandler,RotatingFileHandler
def get_rotating_file_handler:
return RotatingFileHandler(
log_path,maxBytes=*,# MB maxBytes=*,backupCount=),# keep * files )
def get_timed_file_handler:
return TimedRotatingFileHandler(
log_path,when='midnight',# every day at midnight backupCount=*,interval=,encoding='utf-',delay=True ) }
formatter = logging.Formatter s - %s - %s - %s')
file_handler=get_rotating_file_handler
file_handler.setFormatter
file_handler.suffix='%Y-%m-%d_%H%M%S.log'
file_handler.extMatch=r'^\d{}--_\.log$'
file_error=get_rotating_file_handler
file_error.setFormatter
file_error.setLevel
rootLogger.getLogger.addHandler

5 . 分布式环境下跟踪请求流程困难问题

"< "/p "