#x1f468;‍#x1f4bb;景愿#xff1a;旨在于能和更多的热爱计算机的伙伴一起成长#xff01;#xff01;…

‍♂️

‍♂️声明本人目前大学就读于大二研究兴趣方向人工智能硬件虽然硬件还没开始玩但一直很感兴趣希望大佬带带

该文章收录专栏

决策树是一种基于树形结构的分类模型它通过对数据属性的逐步划分将数据集分成多个小的决策单元。

每个小的决策单元都对应着一个叶节点在该节点上进行分类决策。

决策树的核心是如何选择最优的分割属性。

常见的决策树算法有ID3、C4.5和CART。

决策树的输入数据主要包括训练集和测试集。

训练集是已知类别的样本集测试集则是需要分类的未知样本集。

选择最优特征。

在构建决策树时需要从当前样本集合中选择一个最优的特征作为当前节点的划分属性。

通常使用信息增益、信息增益比或基尼指数等指标来评估各个特征的划分能力并选取最优特征。

划分子集。

根据选取的最优特征将当前样本集合划分成若干个子集。

每个子集对应于一个子节点且该节点所代表的样本集合与其父节点的样本集合不重复。

递归构建决策树。

对于每个子节点重复前两个步骤直到所有的样本都被分配到叶子节点上并且每个叶子节点对应着一个类别。

剪枝操作。

由于决策树容易出现过拟合因此需要进行剪枝操作。

常用的剪枝方法包括预剪枝和后剪枝。

在进行分类时对输入测试样本按照各个属性的划分方式逐步匹配最终到达某个叶子节点并将该测试样本归为叶子节点所代表的类别。

决策树的输出结果就是针对测试样本的分类结果即该测试样本所属的类别。

决策树的优点在于易于理解和解释能够处理不同类型的数据且不需要对数据进行预处理。

但是决策树容易出现过拟合问题因此在构建决策树时需要进行剪枝操作。

常用的剪枝方法包括预剪枝和后剪枝。

1.1.1

假设我们要构建一个决策树来预测一个人是否会购买某个产品。

我们将使用以下特征来进行预测

年龄年龄范围在18岁到65岁之间。

性别男性或女性。

收入收入范围在0到100,000之间。

编号年龄性别收入购买125男性30,000否235女性40,000否345女性80,000是420男性10,000否555男性60,000是660女性90,000是730男性50,000否840女性75,000是

首先我们选择一个特征来作为根节点。

我们可以使用信息增益或基尼不纯度等指标来选择最佳特征。

在这个例子中我们选择使用信息增益。

基尼指数和信息增益都是用于决策树中特征选择的指标它们各有优劣。

基尼指数是一种衡量数据集纯度或不确定性的指标常用于决策树算法中的特征选择。

它基于基尼系数的概念用于度量从数据集中随机选择两个样本其类别标签不一致的概率。

Gini(D)

其中Gini(D)表示数据集D的基尼指数p_i表示数据集D中第i个类别的样本所占比例。

基尼指数的取值范围为0到1数值越小表示数据集的纯度越高即样本的类别越一致。

当数据集D中只包含一种类别的样本时基尼指数为0表示数据集完全纯净。

当数据集D中的样本类别均匀分布时基尼指数最大即值越小为1表示数据集的不确定性最高。

在决策树算法中基尼指数被用于衡量选择某个特征进行划分后数据集的纯度提升程度。

通过计算每个特征的基尼指数选择基尼指数最小的特征作为划分依据以达到最大程度地减少数据集的不确定性。

年龄的信息增益0.029性别的信息增益0.152收入的信息增益0.048

信息增益是一种用于选择决策树节点的指标它衡量了在选择某个特征作为节点后数据集的纯度提高了多少。

信息增益的计算基于信息熵的概念。

信息熵是用来衡量数据集的混乱程度或不确定性的度量。

对于一个二分类问题如购买与否信息熵的计算公式如下

多分类也一样每个不题类别求和

Entropy(S)−p(Yes)∗log2(p(Yes))−p(No)∗log2(p(No))

其中S是数据集p(Yes)和p(No)分别是购买为是和否的样本在数据集中的比例。

(信息熵代表了分布越平均,样本信息含量越高,不确定性越大,信息熵越大分布越不均匀占比越大信息熵会趋于0。

所以以信息熵大小来确定分类就是为了把一些小范围的集合分离出去)

Gain(S,

Gain(S,A)Entropy(S)−∑(∣Sv∣/∣S∣)∗Entropy(Sv)

其中S是数据集A是要计算信息增益的特征Sv是特征A的某个取值对应的子集|Sv|是子集Sv的样本数量|S|是数据集S的样本数量。

通过这个子集数量控制其影响权重然后确定信息增益最大的即信息熵最小白话就是选择一个分类中更主流的特征更明显的

信息增益越大意味着使用特征A作为节点可以更好地分割数据集提高纯度。

在我们的例子中我们计算了每个特征的信息增益并选择了具有最大信息增益的特征作为根节点。

然后我们根据根节点的取值将数据集分割成子集并对每个子集计算信息增益以选择下一个节点。

这个过程一直持续到满足停止条件为止例如子集中的样本都属于同一类别或达到了预定的树的深度。

基尼指数基尼指数是一种衡量不纯度的指标它在计算上比信息增益更简单和高效。

在处理大规模数据集时基尼指数的计算速度通常比信息增益快。

单纯计算特征分类占比占比平方信息增益信息增益是一种衡量特征对于分类任务的贡献程度的指标。

它基于信息论的概念可以更好地处理多分类问题。

信息增益在处理不平衡数据集时表现较好能够更好地处理类别不均衡的情况。

除了计算特征分类占比还添加了一个log函数log比例乘上占比使其贡献度分类占比大小情况得到增益

基尼指数基尼指数只考虑了特征的不纯度而没有考虑特征的取值个数。

这意味着基尼指数可能会偏向具有更多取值的特征。

在处理具有大量取值的特征时基尼指数可能会导致决策树偏向这些特征。

基尼指数只要是要这个阈值节点能分出去的样本比例最大有多大最大越大越倾向于信息增益信息增益对于具有较多取值的特征有一定的偏好因为它倾向于选择具有更多分支的特征。

这可能导致决策树过于复杂容易过拟合训练数据树的深度不要太深。

信息增益根据一种信息学的信息熵根据其性质分类越平均越大分类占比大越小的一个性质来分节点。

综上所述基尼指数和信息增益在不同的情况下有不同的优劣。

在实际应用中可以根据具体的问题和数据集的特点选择适合的指标。

对于男性子集

编号年龄收入购买12530,000否42010,000否55560,000是73050,000否

对于女性子集

编号年龄收入购买23540,000否34580,000是66090,000是84075,000是

对于男性子集我们可以看到购买的结果是是和否都有所以我们需要进一步划分。

我们选择年龄作为下一个节点。

对于小于等于30岁的子集购买的结果都是否所以我们不需要再进行划分。

对于大于30岁的子集购买的结果都是是所以我们不需要再进行划分。

男性:年龄

是这就是一个简单的决策树的例子。

根据输入的特征决策树可以根据特征的取值进行预测。

请注意这只是一个简单的示例实际上决策树可以有更多的特征和更复杂的结构。

from

predicted_class):self.predicted_class

predicted_class

如果当前样本的特征值和前一个样本的特征值相同跳过不一样才能分界continueif

gain

np.argmax(num_samples_per_class)

Node(predicted_classpredicted_class)

创建节点if

0]请注意这个不使用任何机器学习库的决策树实现是一个基本的版本它可能无法处理所有的情况例如缺失值、分类特征等。

在实际应用中我们通常使用成熟的机器学习库如scikit-learn因为它们提供了更多的功能和优化。

1.2

当决策树用于回归任务时它被称为决策树回归模型。

与分类树不同决策树回归模型的叶子节点不再表示类别标签而是表示一段连续区间或者一个数值。

它同样基于树形结构通过对数据特征的逐步划分将数据集分成多个小的决策单元并在每个叶子节点上输出一个预测值。

与分类树相似决策树回归模型也采用递归二分的方式进行划分。

具体来说从根节点开始选择一个最优特征和该特征的最优划分点。

然后将数据集按照该特征的取值分为两部分分别构建左右子树。

重复以上步骤直到满足停止条件比如达到最大深度、划分后样本数少于阈值等。

当到达某个叶子节点时该叶子节点的输出值就是训练集中该叶子节点对应的所有样本的平均值或中位数等。

对于一个测试样本从根节点开始按照各个特征的划分方式逐步匹配最终到达某个叶子节点并将该测试样本的预测值设为该叶子节点的输出值。

剪枝操作

与分类树一样决策树回归模型也容易出现过拟合问题因此需要进行剪枝操作。

常用的剪枝方法包括预剪枝和后剪枝。

1易于解释决策树回归模型能够直观地反映各个特征对目标变量的影响程度。

2非参数性决策树回归模型不对数据分布做任何假设适用于各种类型的数据。

4不需要数据正态化决策树回归模型不需要对输入数据进行正态化等预处理。

到这里如果还有什么疑问欢迎私信博主问题哦博主会尽自己能力为你解答疑惑的如果对你有帮助你的赞是对博主最大的支持