欺诈检测实战

信用卡欺诈是指故意使用伪造、作废的信用卡冒用他人的信用卡骗取财物或用本人信用卡进行恶意透支的行为见《信用卡欺诈》

百度百科那么有信用卡欺诈有没有储蓄卡欺诈呢有的比如储蓄卡被他人冒领。

2.1

这个项目里的样本数据异常样本非常少这时正常样本和异常样本的比例是不平衡的正常数据多不是件好事吗从采集的角度上看是的但从模型建立角度上看不是因为这样会导致模型认为数据都很好就无法因对异常情况那么只要让正常和异常数据的比例接近即可方法是下采样和过采样。

(1)

过采样。

造一些异常样本让异常样本变多一些这个造的方法是SMOTE数据生成策略。

2.1.1

Technique即合成少数类过采样技术少数类指的是样本数量较少的类别且合成的数据不能是一模一样的这个过程用到了KNN聚类算法计算每个少数类样本的K近邻在这个实战项目里就是异常类此算法过程如下

(1)对于每一个少数类样本计算其与所有其他少数类样本之间的距离并找到其K个最近邻居这个K被称作采样倍率K越大挑选的邻居越多。

(2)从这K个最近邻居中随机选择一个样本并计算该样本与当前样本的差异。

(3)根据差异比例生成一个新的合成样本该样本位于两个样本之间的连线上。

合成新样本的计算公式是

\tilde{x}

写成下面的形式也是一样的随着比例在0到1之间浮动新生成的数据也在

\tilde{x}

训练模型注意索引不要给错了训练的时候一定传入的是训练集所以X和Y的索引都是0

lr.fit(x_train_data.iloc[indices[0],:],y_train_data.iloc[indices[0],:].values.ravel())第一行代码新建了一个分类器lr。

(1)

C_param。

惩罚力度在sklearn包中这个值越小代表惩罚力度越大值越大惩罚力度越小源代码的文档里是这么解释这个参数的C:

Inverse

solverliblinear。

源代码文档里的描述是Solver:

Algorithm

problem即solver是一种使用在优化问题里的算法短期内我不追求看懂什么是liblinearliblinear论文是08年发的所以教科书是肯定绝对没提过这些东西的我只想知道liblinear究竟是用来做什么的Scikit-learn

solvers

这篇文章对solver的这些算法做了解释我完全没有看懂简要总结了两种

conjugate

牛顿-共轭梯度法【数值分析6(3共轭梯度法)苏州大学】liblinear大型线性分类库。

liblinear是一个用于解决线性分类和线性回归问题的开源软件库。

它通过使用支持向量机SVM等算法来执行二元分类、多元分类和回归任务。

liblinear支持L1和L2正则化并能够处理高维特征。

它被广泛应用于文本分类、生物信息学、图像分类和人脸识别等领域。

——

Library

WikipediaLIBLINEAR算法解读想看懂重点读liblinear使用总结

继续看第二行有了这个分类器lr后开始对训练集进行fit拟合操作y_train_data.iloc[indices[0],:].values.ravel()的意思是将

Pandas

print(example1:\n,df.iloc[df.index,

:])

print(example2:\n,df.iloc[df.index,

:].values.ravel())

代码调用部分sklearn.metrics.confusion_matrix

sklearn.metrics.confusion_matrix(真实标签值,预测标签值)

cnf_matrix

confusion_matrix(y_test_undersample,y_pred_undersample)真实情况

预测结果正例反例–正例PositiveTP(真正例)FN(假正例)此行可定义查全率

\frac{TP}{TPFN}

RTPFNTP​反例NegativeFP(假反例)TN(真反例)––此列可定义查准率

P\frac{TP}{TPFP}

查准率真实值里有多少是预测对的所以真实值做分母这个指标更关注你预测的准不准如果你是三体人的巫师你可以少说话追求查准率否则就要被脱水了。

查全率预测值里有多少是确实真的所以预测值做分母这个指标更关注你找到的多不多如果你是地球人的医生那请你多查房追求查全率否则病人就要蔫了。

看看下面这个例子假设一个人积极揽活并且干活身兼销售和技术双职位销售拿下或拿不下项目技术完成或完不成项目但假设一个人的精力和客户关系都有限那么要么项目拿下的多成功的少要么拿下的少成功的多这样收益也反而均衡一鸣惊人和积少成多都有的不多拿下一个大项目和拿下多个小项目可以认为是等价的。

人员风格

项目目标大项目Big小项目Small–一鸣惊人TB(完成·大)FS(失败·小)此行可定义项目拿下率

P\frac{TB}{TBFS}

PTBFSTB​积小成多FB(失败·大)TS(完成·小)同上可定义项目拿下率–此列可定义大项目成功率

\frac{TB}{TBFB}

下面我们来做一个对现实职场的探讨我觉得大可以将这类情况往人际交往、情场、官场和其它地方延伸去做一个验证看下是不是在中国的社会环境里适用国外也可以拿去套一套。

又做的好这类员工可能会拿一些回扣但领导对其带来的收益还是满意的所以睁一只眼闭一只眼。

“清员工”是做的少所以做的好在有些领导看来虽然做的事情少但每件事都狠抓落实并且到位有成效所以印象颇为不错。

“差员工”是做的多所以难免犯错这类员工虽然做的事情很多也有很多事情有成效但做的事多难免也踩的雷多犯下的错多虽然给公司带来了很多收益也造成了不小的损失时间一长就容易给领导留下不好的印象这种人在某些情况下容易被边缘化甚至是开除。

“平员工”是做的少却也会犯点小错但在领导的印象里这种人往往可能还要比上面那类“差员工”还要印象好些毕竟犯错不多也犯不了大错带来的损失不大但要是论提拔却也谈不上毕竟做的事不多。

2.4

代码运行结果表示下采样导致了许多样本被误杀这种宁肯错杀一千不肯放过一个的态度在保卫人民财产的行动中固然值得尊敬但给整个系统的负担太过繁重并且在实际操作中会浪费人力物力关注到实际没有问题的卡上导致真正应该被重点关注的异常信用卡记录可能没有及时被注意到从而加剧了信用卡诈骗现象。

上面已经提到了SMOTE生成数据的原理下面是实操。

install

使用SMOTE算法来进行生成负例样本random_state是随机数种子作用是控制每次随机生成的结果一致

oversamplerSMOTE(random_state0)

将特征数据和标签传入得到oversample_features,oversample_labels

os_features,os_labelsoversampler.fit_resample(features_train,labels_train)imblearn.over_sampling.SMOTE

2.5

下采样和过采样实战部分到此结束了机器学习问题的处理过程我们的妈妈才是大师。

(1)

ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.error-icon{fill:#552222;}#mermaid-svg-kyp2w6IhoGH3cK8m

.error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edge-thickness-normal{stroke-width:2px;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kyp2w6IhoGH3cK8m

.marker{fill:#333333;stroke:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.marker.cross{stroke:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m

ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kyp2w6IhoGH3cK8m

ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.cluster-label

text{fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.cluster-label

span{color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.label

text,#mermaid-svg-kyp2w6IhoGH3cK8m

span{fill:#333;color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.node

rect,#mermaid-svg-kyp2w6IhoGH3cK8m

.node

circle,#mermaid-svg-kyp2w6IhoGH3cK8m

.node

ellipse,#mermaid-svg-kyp2w6IhoGH3cK8m

.node

polygon,#mermaid-svg-kyp2w6IhoGH3cK8m

.node

path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-kyp2w6IhoGH3cK8m

.node

.label{text-align:center;}#mermaid-svg-kyp2w6IhoGH3cK8m

.node.clickable{cursor:pointer;}#mermaid-svg-kyp2w6IhoGH3cK8m

.arrowheadPath{fill:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edgePath

.path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-kyp2w6IhoGH3cK8m

.flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-kyp2w6IhoGH3cK8m

.edgeLabel

rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-kyp2w6IhoGH3cK8m

.cluster

rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-kyp2w6IhoGH3cK8m

.cluster

text{fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

.cluster

span{color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m

div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet

ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80,

100%,

#aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-kyp2w6IhoGH3cK8m

:root{--mermaid-font-family:"trebuchet

银行卡

中国人民银行已经规定商业银行发行全国使用的联名卡、IC卡、储值卡需要得到中国人民银行总行的审批见

《银行卡业务管理办法》