。

配置日志记录器#xff0c;设置日志文件名、日志级别、日志格式等。

在每个epoch结束时#xff0c;使用logging模块记录性能指标、损失值、准确率等信…关键词python

、epoch、loss、log

导入logging模块。

配置日志记录器设置日志文件名、日志级别、日志格式等。

在每个epoch结束时使用logging模块记录性能指标、损失值、准确率等信息。

在训练过程中记录其他重要信息比如学习率的变化、每个batch的损失值等。

日志记录的信息可以帮助你更好地理解模型的训练过程以及在后续分析和调试中提供有用的信息。

一、定义logger类

https://github.com/Cysu/open-reid/blob/master/reid/utils/logging.py.def

__init__(self,

msg):self.console.write(msg\n)if

self.file

flush(self):self.console.flush()if

self.file

None:self.file.flush()os.fsync(self.file.fileno())def

close(self):self.console.close()if

self.file

f{args.tinterval}))logger.write(“文本提示”)

logger.write(start

格式d/f}占位符03d是一个格式化字符串其中的0表示用0来填充空位3表示总共占据3位d表示这是一个十进制整数。

因此当i的值小于100时会用0来填充确保输出的字符串总共占据3位。

i%args.print_every

{mvalid_mape:.2f})torch.save(engine.model.state_dict(),

save_path_epoch_str(i)_str(round(mvalid_mae,2)).pth)logger.write(Average

Training

secs/epoch.format(np.mean(train_time)))bestid

np.argmin(his_loss)engine.model.load_state_dict(torch.load(save_path_epoch_str(bestid1)_str(round(his_loss[bestid],2)).pth))logger.write(Training

valid

{str(round(his_loss[bestid],4))})二、自定义print

log

-------------------------------

make

datetime.datetime.now().strftime(%Y-%m-%d-%H-%M-%S)log_path

f../logs/if

os.path.exists(log_path):os.makedirs(log_path)log

f{model_name}-{dataset}-{now}.log)log

open(log,

train(model,trainset_loader,valset_loader,optimizer,scheduler,criterion,clip_gradcfg.get(clip_grad),max_epochscfg.get(max_epochs,

200),early_stopcfg.get(early_stop,

10),verbose1,loglog,savesave,)print_log(fSaved

Model:

train_loss_list[best_epoch]out_str

Train

(train_rmse,train_mae,train_mape,)out_str

Val

val_loss_list[best_epoch]out_str

Val

(val_rmse,val_mae,val_mape,)print_log(out_str,

log

{}包含的表达式会进行值替换在字符串前加r可防止字符串转义“文本提示字符串

属性值}

os.path.exists(log_dir):os.makedirs(log_dir)log_filename

{}-{}-{}-{}.log.format(config[exp_id],config[model],

config[dataset],

logging.getLogger(name)log_level

INFO)if

logging.INFOlogger.setLevel(level)formatter

%(levelname)s

logging.FileHandler(logfilepath)file_handler.setFormatter(formatter)console_formatter

%(levelname)s

logging.StreamHandler(sys.stdout)console_handler.setFormatter(console_formatter)logger.addHandler(file_handler)logger.addHandler(console_handler)logger.info(Log

directory:

get_logger(config)logger.info(Begin

pipeline,

str(exp_id)))logger.info(config.config)best_trial

min,

{}.format(best_trial.config))logger.info(Best

trial

{}.format(best_trial.last_result[loss]))四、自定义log_string()

utils.py

parser.add_argument(--log_file,

file)

data...)记入时间%.1fmin一位小数字符串min分钟单位调用变量值%或者字符串里{:}.format(变量)

__name__

scheduler)plot_train_val_loss(loss_train,

loss_val,

figure/train_val_loss.png)trainPred,

valPred,