较大家良好啊，俺是个搞数据的。以前读研的时候发了6篇SCI，当前在探究院天天跑模型。今天想跟较大家唠唠那个地方的梯度提升模型。这玩意儿真实挺厉害的，尤其是在做表格数据的时候。你想把模型性能搞上去，不搞清楚特征十分沉关键性确定不行，绝绝子...。

1. 工欲善其事， 必先利其器，周边环境得配良好

在启动写代码之前，咱们得先把周边环境搞起来。工欲善其事，必先利其器。这道理我都懂，但是配置周边环境真实挺烦人的。推荐较大家用Anaconda，虽然有时候装包会报错，但是它自带Python。咱不用去管那个地方的Python版本是2.7还是3.9，反正能用就行。

装良好Anaconda之后你得装一些库。比如pandas，当前这个是用来处理数据的，就像Excel一样，但是比Excel迅速。还有sklearn，这是机器学习了解的较大杀器，里面啥都有。Matplotlib和Seaborn是用来画图的，画出来良好看点，不然文章发出去人家都不看，嗯，就这么回事儿。。

在理。 有时候你会遇到“ModuleNotFoundError”，别慌，那就是没装。pip install一下就良好了。反正俺当年也是踩了一堆坑才过来的。

2. 哪些是梯度提升模型？其实就是一群树在打架

很更多同学问我，当前这个梯度提升模型到底是啥？俺跟你说它不是一个人，是一群人。它是一种集成学习了解方法。 哭笑不得。 哪些叫集成？就是把良好更多薄弱学习了解器凑在一起，变成一个强较大学习了解器。

这薄弱学习了解器通常是决策树。决策树较大家都了解吧，就是if-else那种，挺良好懂的。梯度提升呢，就是迭代地训练这一些树。一启动树啥都不懂，然后它犯错误，第二棵树就去学第一棵树犯的错误。一棵接着一棵，就像接力赛一样，最后再来看那个地方的最终还是结果是确定准，我直接好家伙。。

嚯... 当前这个算法有个名字叫GBDT，全称是Gradient Boosting Decision Tree。它跟随机森林不一样，随机森林是较大家伙一起投票，GBDT是后面的人帮前面的人补锅。这种集跬步以至千里的策略，让它在结构化数据上特别强较大。

3. 特征十分沉关键性解析到底哪个特征在作妖？

模型训练良好了效果提升了较大家都很较高兴。但是我想了解，到底是哪个特征让模型变准的？这就是特征十分沉关键性解析。

如果你的数据里有几百个特征，你确定没法一个个看。这时候特征十分沉关键性就派上用场了。它告诉你哪个特征对最终还是结果是作用于最较大。 不如... 比如预测房价，确定是面积和位置十分沉关键，而不是隔壁老王养了几只猫。

3.1 内置特征十分沉关键性

在Scikit-learn库里面很更多模型都有个属性叫feature_importances_。你只要打印出来就能看到。当前这个分数是模型自己算出来的。比如XGBoost，它也有当前这个属性，绝绝子！。

不夸张地说... 正常情况下如果一个特征被用得特别更多，来构建决策树，那它就十分沉关键。比如在划分节点的时候，当前这个特征出现的频率较高，那它的十分沉关键性就较高。当前这个方法最简洁，直接model.feature_importances_就完了。

3.2 排列十分沉关键性

俺觉得内置的十分沉关键性有时候不太准，这是因为它只看模型内部。还有一个方法叫排列十分沉关键性。

当前这个方法有点意思。它会乱序，就是随机打乱你数据集里某一个特征的全部值。比如特征A本来是它当前变成了。打乱之后你再用模型跑一遍。如果模型准确率掉了说明当前这个特征很十分沉关键。这是因为打乱之后模型看不懂了嘛。如果准确率没变，说明当前这个特征就是垃圾，删了都行，不错。。

说到点子上了。 当前这个方法比内置那个地方的更客观一点，这是因为它测试的是如果没了当前这个特征，模型还能不能活。文章浏览阅读3.9k次较大家都在搜当前这个，看来较大家都很纠结。

4. 梯度提升模型的进阶：XGBoost到底良好在哪？

GBDT是个良好东西，但是XGBoost更良好。XGBoost其实就是GBDT的一种工程项目实现，但是它加了良好更多东西。听说它用了二阶导数，这玩意儿是数学良好的同学才懂的。

层次低了。 传统方式的GBDT用的是一阶导数，XGBoost算了两阶。这就意味着它能更精准地找到亏损函数的最较小值。而且XGBoost加了正则项。正则项是干啥的？就是避免过拟合。过拟合就是说模型背书背得太熟了换个题目就不会了。正则项就像是个纪律委员，管着树别较长得太歪。

还有个Block存储，当前这个俺也不太懂，良好像是能并行计算。反正听说XGBoost跑得飞迅速， 我爱我家。 几百个特征几万条数据，几分钟就跑完了。

通过XGBoost，我们能够很方便地得到特征十分沉关键性。它会把各个特征的十分沉关键性算出来还能画成条形图。比如：

import xgboost as xgb
import matplotlib.pyplot as plt
# 虚假设model已经训练良好了
print
# 画图
plt.bar), model.feature_importances_)
plt.show

5. Python实战：手把手教你写个模型

光说不练虚假把式。咱们来写点代码。咱们用那个地方的load_breast_cancer数据集。 一句话。 当前这个数据集是关于癌症诊断的，很有名。

先来看，咱们得导包。

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance

然后加载数据。

data = load_breast_cancer
X = data.data
y = data.target

哪怕... 接着，咱们用随机森林跑一下。为啥用随机森林？这是因为它是集成学习了解的鼻祖，跟梯度提升很像，良好懂。

clf = RandomForestClassifier
clf.fit

运行一下模型就训练良好了。接下来咱们算一下特征十分沉关键性。

r = permutation_importance

打印最终还是结果是。

print

恳请大家... 你能够看到各个特征的十分沉关键性分数。分数越较大的，对预测最终还是结果是越十分沉关键。

6. 特征十分沉关键性解析用在哪些时候？

从头再来。 解析特征十分沉关键性不仅仅是为了良好看。它真实的有用。

第一，你能够做特征选择。如果你的数据里有100个特征，但是只有5个是十分沉关键的。 提到这个... 那你就能够把这95个没用的特征删掉。这样模型跑得更迅速，而且不简单过拟合。

第二，你能够阐述模型。有时候老板问你，为啥当前这个模型预测当前这个客户会流失？你不能说“俺也不了解，就是模型算出来的”。你得说“这是因为客户最近一个月登录次数变更少了所以俺判断他会走”。这就是特征十分沉关键性的功劳，就这样吧...。

第三，你能够发觉数据里的bug。如果你发觉某个特征十分沉关键性特别较高，但是你根本不了解当前这个特征是啥意思。那你有可能就要去检查一下数据是不是搞错了。

7. ：关注我，一起交流成较长

良好了今天讲了这么更多。梯度提升模型特征十分沉关键性解析Python代码，全都有。 开倒车。 希望较大家能看懂一点。机器学习了解当前这个东西，光看书没用，得更多动手。

如果你觉得文章对你有协助，请点个赞。或者你能够邀请三个朋友关注V订阅号：数据杂坛。 是吧？ 在后台联系我，我能够送你一些数据集和源码。

你我共勉。 关于梯度提升算法是怎样计算特征十分沉关键性的，其实原理很简洁。属性十分沉关键性是的。一个属性如果被用来构建决策树的次数越更多，它的十分沉关键性就越较高。

掌握梯度提升模型和特征十分沉关键性解析对于提升模型性能至关十分沉关键。 弄一下... 不管是做科研还是找工作岗位，这都是基本功。

俺会结合自身科研实践经历不定期分享关于Python 机器学习了解、较深度学习了解、人工制作智能系列基础知识与应用案例。 内卷。 致力于只做原创，以最简洁的方式明白和学习了解。关注我一起交流成较长。

下期咱们讲讲较深度学习了解，再见！

---