特别严格

所有的数据最终都将会落到叶子节点树模型既可以做分类也可以做回归

根节点第一个选择点

训练阶段从给定的训练集构造出一棵树从根节点开始选择特征即判断条件等如何进行特征切分

信息增益

表示特征X使得类别Y的不确定性减少的程度。

分类后的专一性希望分类后的结果是同类在一起

即如何经过一个节点后左右子树的熵值之和比原来的要小则信息增益为正

对于下一个节点其操作过程与选择根节点一致每次都需要对剩下的特征进行遍历选择出信息增益max的特征

信息增益率

选取连续值的哪个分界点——对连续值的各个分界点进行尝试判断每个分界点的信息增益率等以选择最佳的分界点

剪枝策略

决策树过拟合风险很大理论上可以将数据完全分开即每个叶子节点只有一个数据

预剪枝

可以通过限制树的深度、叶子节点个数、叶子节点样本数、信息增益量等

后剪枝

在计算公式中ɑ的值需要自己设定值越大说明希望自己的树模型越不过拟合但是得到的结果可能不是很好值越小说明希望结果好为主对于过拟合程度不是很关注

C(T):gini系数或熵值

由于原始数据有自己的标签对于最终的叶子节点其类别所属类型使用众数方式即何种类别数据多则该叶子节点属于该类型

回归问题

环境变量配置GraphViz如何配置环境变量并保存图片-百度经验

(baidu.com)

pltplt.rcParams[axes.labelsize]

import

warningswarnings.filterwarnings(ignore)导入鸢尾花数据集

from

DecisionTreeClassifier(max_depth2)

tree_clf.fit(X,y)

export_graphvizexport_graphviz(tree_clf,

##当前树模型

之前训练好的树模型out_fileiris_tree.dot,

##输出文件

后续会将其转为图片文件feature_namesiris.feature_names[2:],

##绘图时展示的特征名字class_namesiris.target_names,roundedTrue,filledTrue

)将在文件夹中生成一个.dot文件

Image(filenameiris_tree.png,width400,height400)

import

pltplt.rcParams[axes.labelsize]

import

warningswarnings.filterwarnings(ignore)导入鸢尾花数据集

from

DecisionTreeClassifier(max_depth2)

tree_clf.fit(X,

##模型训练print(tree_clf.predict_proba([[5,

1.5]]))

clf.predict(X_new).reshape(x1.shape)##确定绘制的颜色

与等高线样式custom_cmap

labelIris-Versicolor)plt.plot(X[:,

0][y

labelIris-Virginica)plt.axis(axes)if

length,

fontsize14)else:plt.xlabel(r$x_1$,

fontsize18,

fontsize14)plt.figure(figsize(8,

4))

plot_decision_boundary(tree_clf,

即切割位置

通常max_features不做限制,默认情况下全部使用除非特征数非常多max_depth树最大的深度

import

pltplt.rcParams[axes.labelsize]

import

warningswarnings.filterwarnings(ignore)绘制决策边界

from

clf.predict(X_new).reshape(x1.shape)##确定绘制的颜色

与等高线样式custom_cmap

labelIris-Versicolor)plt.plot(X[:,

0][y

labelIris-Virginica)plt.axis(axes)if

length,

fontsize14)else:plt.xlabel(r$x_1$,

fontsize18,

DecisionTreeClassifier(random_state42)

tree_clf2

DecisionTreeClassifier(min_samples_leaf4,

random_state42)

plot_decision_boundary(tree_clf1,

axes[-1.5,

plot_decision_boundary(tree_clf2,

axes[-1.5,

树模型对数据的形状较为敏感当对数据进行旋转等变换后其得到的结果也是不同的

import

pltplt.rcParams[axes.labelsize]

import

warningswarnings.filterwarnings(ignore)

构造数据

DecisionTreeRegressor(max_depth2)

tree_reg.fit(X,

export_graphvizexport_graphviz(tree_reg,

##当前树模型

之前训练好的树模型out_fileregression_tree.dot,

##输出文件

##绘图时展示的特征名字roundedTrue,filledTrue