。

今天#xff0c;我很高兴地跟大家分享#xff0c;这个工具的基本框架已经完成了#xff0c;并且探索性的将大语言模型#xff08;AI#xff09;整合了进去。

目前ai在工具中扮演智能助手…

最近我一直忙着开发一个信用评分卡建模工具所以没有时间更新示例或动态。

今天我很高兴地跟大家分享这个工具的基本框架已经完成了并且探索性的将大语言模型AI整合了进去。

目前ai在工具中扮演智能助手完成用户解答功能帮助用户更好地理解和使用信用评分卡建模信息。

整个过程中遇到了不少挑战。

下面向大家介绍下工具的主要板块和功能希望得到大家的宝贵指导意见。

1、数据探索

主要实现加载源数据和可视化的功能开发采用的样本数据是开源的德国信用数据集GermanCredit。

项目采用嵌入pygwalker的方式对源数据进行可视化用户可以自行组合分析数据内容。

pygwalker示例如下

引用https://zhuanlan.zhihu.com/p/682465515

2、特征分析

对源数据进行抽样目前采用的是分层抽样方式根据目标变量进行分层抽样。

4、WOE转换

金融信用评分卡要求比较稳健及可解释性强所以woe转换是必不可少步骤。

‌‌WOEWeight

Evidence转换是一种将分类变量的每个类别映射到一个连续的数值的方法这个数值反映了该类别相对于参考类别通常是目标事件发生率最低的类别对目标事件发生概率的影响强度‌。

WOE转换的公式通常是对数变换其值可以为正、负或零代表了该特征值对“好客户”和“坏客户”的影响程度。

‌处理异常值‌WOE转换可以处理数据中的异常值通过将极端值分组到单独的类别中避免对模型产生负面影响。

‌处理缺失值‌缺失值可以单独分组从而不影响模型的训练。

‌处理分类变量‌WOE转换帮助处理分类变量无需虚拟变量可以直接用于逻辑回归等模型中。

‌提升模型效果‌通过标准化特征值WOE转换可以提高模型的预测效果和可解释性。

5、模型评估

模型评估板块前面是模型训练目前该板块没有提前输出信息所以没有展示。

模型评估主要是常用的一些模型评估指标目前想到的是准确率(Accuracy)、精确率(Precision)、召回率(Recall)、ROC-AUC/Gini、F1

6、评分卡生成

这是评分卡建模最后一步生成评分卡及评分的PSI值评估目前看模型生成的评分卡PSI是接近正太分布而且PSI0.0097这个数值非常好的。

7、大语言模型ai助手

这是此项目唯一的亮点和创新性将llm融入评分卡建模的过程目前市场上是不多见的。

虽然作用和价值不知能能有多少但是这是一个让我学习不断进步的过程。