信息增益

意义#xff1a;给定特征X的条件下#xff0c;使得类别Y的信息的不确定性减少的程度。

取值越大越好。

信息增益

意义给定特征X的条件下使得类别Y的信息的不确定性减少的程度。

取值越大越好。

定义集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D/A)之差。

分支过程中偏向取值较多的属性无法处理连续值和缺失值只能处理离散值对缺失值敏感。

C4.5算法

定义C4.5算法与ID3算法类似C4.5算法使用信息增益比来选择特征。

C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性再从中选择信息增益比最大的属性。

该决策树是多分支分类。

信息增益比

连续属性的划分采用二分法对连续属性进行离散化划分点的选取可选使信息增益最大化的划分点。

例:16个连续属性值选15个划分点。

分支过程中偏向取值较少的属性适合小样本要进行剪枝操作要对属性进行排序

CART树

定义使用平方误差来构建决策树使用min(J){min(c1)sum(y-c1)^2min(c2)sum(y-c2)^2}来选择最优划分变量和最优划分点。

预测选择叶子节点的均值或者中位数作为当前节点的预测类别(通常都是均值)

分类树

定义:从数据集中随机抽取两个样本其类别标记不一致的概率。

基尼系数越小则样本集合的不确定性越小。

公式:1-sum(K){P(k)*P(k)},P(k)是属于第k个类别的概率共有K个类别。

预测选择叶子节点里概率最大的类别作为当前节点的预测类别选择叶子节点中所有样本所属类别最多的那一类。

缺点:适合大样本

过程进行分支前计算验证机准确率分支后计算验证机准确率若变大则进行分支反之。

后剪枝:

过程当前决策树计算非叶子节点再验证集上的准确率讲该非叶子节点替换为叶子节点后计算验证机的准确率若变大则进行剪枝反之。

删除缺失数据用其他值猜测缺失项的可能值如中位数、众数等或者用已有数据构建模型然后对缺失值进行预测概率化:C4.5算法中按比例对所有样本分配权重xgboost中将缺失值分别导流到各个分支中然后计算每个分支对损失函数的影响该该缺失值分配到使得损失函数最小的分支。

可解释性强可处理混合类型特征不需要归一化有特征组合、特征选择的作用能够处理缺失值对异常点鲁棒可扩展性强容易并行

却反平滑处理(回归预测的输出值只能输出若干种值)不适合处理高维稀疏数据

树模型能够处理缺失值吗(ID3、c4.5、cart、rf到底是如何处理缺失值的

知乎)

特征值缺失如何进行特征选择用没有缺失的样本子集计算信息增益再乘以权重(无缺失样本的比例)即为特征再数据集上的信息增益。

选定该划分特征对于缺失该特征值的样本如何归类将该缺失值同时划分到所有子节点种并调整该缺失样本权重(该子节点在特征上取值的样本比例)即以不同概率将样本划分到所有节点种。

splits(替代划分)来处理

特征值缺失如何进行划分特征的选择用没有缺失的样本子集来计算Gini指数(均方误差)再乘以一个权重(无缺失样本的比例)即为特征再数据集上的Gini指数(均方误差)选定该划分特征对于缺失该特征值的样本如何归类首先需要遍历剩余的特征但是仅仅再完全没有缺失值的特征上进行选择我们选择其中能够与目标缺失特征分裂之后效果最接近的特征值代替缺失值如果不满足这个条件缺失样本默认进入样本个数较多的叶节点。

对于sklearn库来说是不能的需要填充而对于xgboost这种是可以的。

预测截断遇到特征有缺失情况如何处理?