归、Maximum

RegressionLR逻辑回归的基本思想逻辑回归模型逻辑回归的目标最大似然估计优化方法

逻辑回归的损失函数对数损失逻辑回归的应用逻辑回归的优缺点优点缺点

最大似然估计

MLE)最大似然估计的基本思想似然函数对数似然函数最大化对数似然

参考资料

是一种广泛应用于分类问题的统计方法尤其用于二分类问题即预测目标变量有两个类别。

尽管它的名字中带有“回归”二字但它实际上是一种分类算法。

逻辑回归通过对输入特征进行建模输出一个概率值表示某个类别的可能性。

X(x_1,

w(w1​,w2​,…,wn​)逻辑回归模型的输出是通过一个线性组合加上偏置项输入到一个

Sigmoid

b使得模型能够准确地预测数据的类别。

为此我们使用最大似然估计Maximum

Likelihood

逻辑回归模型的似然函数是基于每个训练样本的预测概率和真实标签的结合。

对于每个样本预测的概率为

P(Y

\left[\sigma(z^{(i)})^{Y^{(i)}}

\cdot

L(w,b)i1∏m​[σ(z(i))Y(i)⋅(1−σ(z(i)))1−Y(i)]

为了方便优化通常取对数似然函数Log-Likelihood得到

log

ℓ(w,b)i1∑m​[Y(i)logσ(z(i))(1−Y(i))log(1−σ(z(i)))]

\ell(w,

Descent来优化对数似然函数。

梯度下降法通过计算损失函数对数似然的负数对模型参数的梯度来更新参数以减小损失。

梯度下降更新规则为

由于逻辑回归是基于最大似然估计的因此它的损失函数通常称为对数损失Log-Loss或交叉熵损失Cross-Entropy

Loss公式如下

L(w,b)−m1​i1∑m​[Y(i)log(σ(z(i)))(1−Y(i))log(1−σ(z(i)))]

对数损失衡量的是预测的概率分布与真实标签之间的差距。

损失函数的值越小模型的预测越准确。

二分类问题例如电子邮件分类垃圾邮件与非垃圾邮件、医疗诊断是否患病、银行贷款申请是否批准等。

多分类问题通过多项式逻辑回归Multinomial

Logistic

Regression扩展可以处理多类问题常用于文本分类或图像分类。

简单易懂逻辑回归是一种线性模型易于理解和实现。

高效逻辑回归在训练数据量较小的情况下能表现得很好计算速度较快。

概率输出它不仅提供类别预测还提供每个类别的概率这对于很多应用场景非常有用。

可解释性强模型参数即权重能够反映特征对预测结果的影响便于进行模型解释。

线性假设逻辑回归假设特征和目标之间的关系是线性的。

如果数据呈现非线性关系逻辑回归可能无法很好地拟合数据。

对异常值敏感逻辑回归对异常值比较敏感异常值可能会影响模型的性能。

特征相关性问题逻辑回归对特征之间的相关性较为敏感强相关的特征可能会导致多重共线性问题。

多项式逻辑回归Multinomial

Regression用于多分类问题模型的输出不是一个概率而是多个类别的概率分布。

正则化Regularization为了防止过拟合可以在逻辑回归中加入L1或L2正则化项。

L1正则化能生成稀疏解L2正则化可以避免过大权重的出现。

scikit-learn

print(classification_report(y_test,

y_pred))

是一种常用的统计方法用于估计模型参数使得在给定数据下模型的概率最大化。

简单来说最大似然估计旨在找到最有可能生成观测数据的参数值。

MLE

主要作用是利用已知的样本结果反推最有可能最大概率导致这样结果的参数值。

当“模型已定参数未知”时通过若干次试验观察其结果利用试验结果得到某个参数值能够使样本出现的概率为最大则称为极大似然估计。

假设我们有一组观测数据记为

X{x1​,x2​,…,xn​}这些数据来自某个概率分布该分布有一个参数

\***ta

具体来说假设我们已知数据的分布类型比如高斯分布、伯努利分布等但我们并不知道分布的具体参数。

最大似然估计就是通过寻找一个参数

\***ta

下观察到数据的概率。

假设数据集中的样本独立且同分布i.i.d.则似然函数可以表示为

L(\***ta;

由于似然函数通常涉及乘法计算起来可能会很复杂。

为了解决这个问题我们通常使用

对数似然函数因为对数函数是单调递增的因此最大化似然函数和最大化对数似然函数是等价的。

对数似然函数为

log

ℓ(θ;X)logL(θ;X)i1∑n​logP(xi​∣θ)

最大化对数似然

X{x1​,x2​,…,xn​}我们想通过最大似然估计来估计其

\mu

ℓ(μ,σ2;X)i1∑n​[−21​log(2πσ2)−2σ2(xi​−μ)2​]

\mu

∂σ2∂ℓ​−2σ2n​2σ41​i1∑n​(xi​−μ)20

\hat{\sigma^2}

ℓ(p;X)i1∑n​[xi​logp(1−xi​)log(1−p)]

最大化对数似然函数求导并令其为

的增加最大似然估计趋近于真实的参数值在大样本下是无偏的。

有效性MLE

是在满足正则条件下具有最小方差的估计量在大样本下。

广泛适用最大似然估计可以用于各种类型的概率分布不仅限于常见的分布如高斯分布、伯努利分布等。

计算复杂度高当样本量大或分布复杂时最大似然估计的计算可能非常复杂需要使用数值优化方法。

模型假设的依赖性MLE

假设我们知道数据的分布类型如果选择了错误的模型分布估计结果可能会偏差。

需要大量数据对于小样本数据最大似然估计可能会导致过拟合或者估计不准确。

参考资料