分类3.

决策树思想的来源非常朴素程序设计中的条件分支结构就是if-else结构最早的决策树就是利用这类结构分割数据的一种分类学习方法。

下面就来举一个例子

通过这一个例子我们会有一个问题为什么女生会把年龄放在第一个呢这就是决策树的一个思想高效性。

现在我们有这些数据请你根据这些数据判断一个ID为16的人是否能够贷款。

我们现在要做的就是如何划分年龄、工作、房子、信贷这些数据。

我们可以先看房子再看工作…也可以先看工作再看信贷…我们该如何选择来更高效的进行判断所以我们引入信息熵、信息增益、条件熵、不确定性…

机器学习笔记02–决策树算法(手把手教你看懂)—信息熵信息增益增益率基尼系数

计算过程这里就不演示了直接出结果吧我们以A·1A2A3A4代表年龄、有工作、有自己的房子和贷款情况。

最终计算的结果g(D,A1)0.313g(D,A2)0.324g(D,A3)0.420g(D,A4)0.363所以我们选择A3作为划分的第一个特征这样我们就可以慢慢建立起一棵树。

决策树的原理不止信息增益这一种还有其他方法。

但是原理都类似我们就不去举例计算了

分类树基尼系数

sklearn.tree.DecisionTreeClassifier(criterion‘gini’,max_depthNone,random_stateNone)

决策树分类器criterion默认是‘gini’系数也可以选择信息增益的熵‘entropy’max_depth树的深度大小random_state随机数种子

案例鸢尾花分类

decision_iris():决策数对鸢尾花进行分类:return:#

划分数据集iris

DecisionTreeClassifier(criterion

y_train)#

estimator.predict(x_test)print(y_predict:\n,

y_test

tree.export_graphviz(estimator,out_file“./tree.dot”,feature_name[“,”])

out_file

iris.feature_names)生成了一个文件之后我们需要把里面的文本导入到一个网站里面http://webgraphviz.com/

决策树学习者可以创建不能很好地推广数据的过于复杂的树这被称为过拟合

减枝cart算法随机森林