实际上在逻辑回归中我们要做的任务就类似于在数据集中画出一个这样的曲线用来作为类别的界限

在上图中由于我们用的是线性回归模型最终的输出是是一个连续的离散的值而我们的二分类任务是输出0和1代表不是和是因此还需要将上图中的输出加入到

sigmoid

而对于更复杂的数据我们可以使用特征工程的方法对输入进行多项式变换组合以满足实际的需求

逻辑回归中不再使用平方误差函数因为通过观察我们逻辑回归的函数定义式带有指数项比较复杂因此带入平方误差损失函数中图像如下

即是一个非凸的函数存在很多局部最优的地方容易使得我们的梯度下降算法效果不理想

在逻辑回归中使用的是交叉熵损失函数可以用来衡量预测的结果与实际的结果的一致性程度

log

因此通过这种损失函数可以发现其是一个凸函数因此可以使用梯度下降得到一个可靠的答案

要么取

同样在逻辑回归中也可以使用向量化的操作来加快梯度下降的收敛速度

欠拟合

由于模型使用的不当等因素使得模型不饿能很好的拟合训练集算法无法捕捉训练数据中的重要特征模式例如在预测房价时如果我们使用线性模型且不使用特征工程的方法时就可能会出现欠拟合的现象

模型的泛化能力是指模型的性能比较好能够适用于大多数数据即使在它一千从未见到过的全新示例上也能做出良好的预测

过拟合是指我们的模型可能过于复杂非常适合训练数据在训练集上的表现性能非常优秀但是在新的数据集上不能做出良好精确的预测这种模型不能进行推广到其他数据集上

可以保留所有特征但只是防止特征产生过大的影响有时也会导致过拟合

正则化

\frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)})

y^{(i)})^2

x4的出现可能会导致我们的模型出现过拟合的现象因此我们要对这两个特征的系数即

w_3

\frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)})

y^{(i)})^2

min2m1​i1∑m​(f(x(i))−y(i))21000w32​1000w42​

w_3

而在实际中往往会有成千的特征而我们不知道哪些特征是重要的因此正则化的典型实现方式就是惩罚所有的特征

min

\frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)})

y^{(i)})^2

\frac{\lambda}{2m}\sum_{j1}^{n}w_j^2

J(w

,b)min2m1​i1∑m​(f(x(i))−y(i))22mλ​j1∑n​wj2​

\lambda

\alpha[\frac{1}{m}\sum_{i1}^{m}(f_{\vec

b}(\vec

wj​wj​−α∂wj​∂​wj​−α[m1​i1∑m​(fw

,b​(x

\frac{\lambda}{2m}\sum_{j1}^nw_j^2

J(w

\alpha[\frac{1}{m}\sum_{i1}^{m}(f_{\vec

b}(\vec

wj​wj​−α∂wj​∂​wj​−α[m1​i1∑m​(fw

,b​(x