高级#xff1a;…总结

中级optuna得出最好的超参数之后再多一些epoch让train和testloss整体下降然后结果就很不错。

高级在中级的基础上更换更适合的损失函数之后在train的时候backward反向传播这个loss,optuna也更改这个loss标准现在效果有质的改变。

最近在做cfd领域需要流场进行预测然后流场提取出来再深度学习就是一个多维度tensor,而神经网络的目的就是通过模型预测让预测的tensor与实际的tensor的结果尽可能的接近具体来说就是让每个值之间的误差尽可能小。

目前情况现在模型大概以及确定但是效果一般般这时候就需要进行下面的调优方法。

优化方法

optuna得出最好的超参数之后再多一些epoch让train和testloss整体下降然后结果就很不错。

三、高级优化

在中级的基础上现在更换更适合的损失函数之后在train的时候backward反向传播这个loss,optuna也更改这个loss标准现在效果有质的改变。

smooth_l1

F.smooth_l1_loss(out.view(shape1,

shape2),

#test中的最后一个epoch的test_smooth_l1通过上面预测的数据和实际的数据进行的对比可以发现预测的每个结果与实际的结果的误差在大约0.01范围之内实际数据在[-4,4]之间。

确定损失函数

function是关键。

常见的用于这种目的的损失函数包括以下几种

均方误差Mean

MSE对预测值与真实值之间的平方误差求平均。

MSE对大误差比较敏感能够显著惩罚偏离较大的预测值。

import

MAE对预测值与真实值之间的绝对误差求平均。

MAE对异常值不如MSE敏感适用于数据中存在异常值的情况。

import

Loss当误差较小时平滑L1损失类似于L1损失当误差较大时类似于L2损失。

适合在有噪声的数据集上使用。

import

MAE适用于数据中存在异常值并且你希望对异常值不那么敏感的情况。

Smooth

目前这个经过optuna调优然后先下面处理思想是将loss的反向传播和optuna优化标准全换为更适合这个任务的smooth_l1_loss函数

l2.backward()更换为smooth_l1.backward()3.

return

结果point_data看着值很接近每个值误差0.01范围内。

说明用这个上面这个方法是对的。

试了一下图也有优化。

并step_loss现在极低。

下面代码中加感叹号的行都是上面思路修改我的项目中对应的代码行重要

import

trial.suggest_categorical(batch_size,

[32])learning_rate

trial.suggest_float(learning_rate,

1e-6,

trial.suggest_categorical(layers,

[2,4,6])width

trial.suggest_categorical(width,

trial.suggest_float(weight_decay,

1e-6,

1e-2,logTrue)#新加的#再加个优化器optimizer_name

trial.suggest_categorical(optimizer,

[Adam,

trial.suggest_categorical(loss_function,

[LpLoss,

data[ntest:-1,:,:]#data:torch.Size50:,

80,

30。

train50对应的是predict5091train_u

data_cp[ntest10:,:,:]#torch.Size([50,

64,

10])#data_cp是未归一化的第11个对应的是data的第data的第1个,两者差10#

data[:ntest,:,:]#选取最后200个当测试集test_u

print(test_a.shape)#

print(test_u.shape)#torch.Size([40,

80,

torch.utils.data.DataLoader(torch.utils.data.TensorDataset(train_a,

torch.utils.data.DataLoader(torch.utils.data.TensorDataset(test_a,

shuffleFalse)#没有随机的train_loader用于后面预测可视化data_loader_noshuffle

torch.utils.data.DataLoader(torch.utils.data.TensorDataset(data[:,:,:],

data_cp[9:,:,:]),batch_sizebatch_size,

shuffleFalse)#

waveletwavelet,in_channelin_channel,

grid_rangegrid_range).to(device)#

optimizer

torch.optim.Adam(model.parameters(),

lrlearning_rate,

optim.RMSprop(model.parameters(),

lrlearning_rate,

weight_decayweight_decay)scheduler

torch.optim.lr_scheduler.StepLR(optimizer,

step_sizestep_size,

y.to(device)optimizer.zero_grad()out

model(x)mse

F.smooth_l1_loss(out.view(shape1,

shape2),

l2.backward()smooth_l1.backward()

#用这个smooth_l1_loss反向传播#optimizer.step()train_mse

mse.item()train_l2

l2.item()scheduler.step()model.eval()test_l2

0.0test_smooth_l1

F.smooth_l1_loss(out.view(shape1,

shape2),

ntrain#len(train_loader)train_l2

ntraintest_l2

Train-MSE-{:0.4f}test_smooth_l1-{:0.4f}

Train-L2-{:0.4f},

optuna.exceptions.TrialPruned()防止打印信息错位print(fTrial

{trial.number}

#test中的最后一个epoch的test_smooth_l1

For