ROC

是评估分类模型性能的重要指标用于衡量模型在不同阈值下区分正负样本的能力。

它是

ROC

AUCN​×N−​∑i1N​​∑j1N−​​I(pi​pj​)​

N_-

首先明确逻辑回归的损失函数是交叉熵损失函数也被称为对数损失函数log

手撕见【搜广推校招面经二十三】

num_iterations1000):self.learning_rate

learning_rate

MAE表示预测值和真实值之间绝对误差的平均值是一个非负值MAE越小表示模型越好。

其公式如下

MAE

MAE以原始数据单位表示因此更直观易懂。

例如在房价预测问题中MAE可以直接解释为预测价格与实际价格之间的平均偏差。

鲁棒性:

MAE对异常值不敏感因为它使用的是绝对值而不是平方值来计算误差。

这意味着即使存在极端值其影响也不会被放大。

3.2.

MSE对较大的误差更为敏感因为误差被平方后较大的误差会被进一步放大。

这使得MSE非常适合用于检测异常值或重要的偏离情况。

可微性:

3.3.

MAE采用绝对值处理误差所有个体差异在平均值上的权重都相等。

MSE则通过对误差进行平方处理给予大误差更多的权重从而更加突出大误差的影响。

3.3.2.

MAE由于其线性性质对异常值具有较好的鲁棒性。

相比之下MSE由于其平方特性对异常值更加敏感。

3.3.3.

在训练过程中MAE可能导致更新梯度始终相同的问题即使对于很小的损失值梯度也可能较大不利于模型的学习。

而MSE在这种情况下的表现较好即便使用固定的学习率也可以有效收敛因为其梯度随损失增大而增大损失趋于0时则会减小。

3.3.4.

如果异常点代表了商业上重要的异常情况并且需要被检测出来则应选用MSE作为损失函数。

若仅把异常值当作受损数据则应选用MAE作为损失函数。