这个数据集从一堆txt压缩包里面提取出来整理为excel文件还真不容不易#xff0c;肯定要做一下文本分类。

虽然现在文本分类基本都是深度学习了#xff0c;但是传统的机器学习也能做。

本案…案例背景

trec06c是非常经典的邮件分类的数据还是难能可贵的中文数据集。

这个数据集从一堆txt压缩包里面提取出来整理为excel文件还真不容不易肯定要做一下文本分类。

虽然现在文本分类基本都是深度学习了但是传统的机器学习也能做。

本案例就演示传统的贝叶斯向量机k近邻这种传统模型怎么做邮件分类。

数据介绍

数据前3行label是标签spam是垃圾邮件ham是正常邮件。

content就是纯文字中文的还是很整洁的。

代码实现

plt.rcParams[axes.unicode_minus]

False

sklearn.feature_extraction.text

import

4w多的垃圾邮件2w多的正常邮件不平衡我们抽取5k的正常邮件和5k的垃圾邮件合并作为数据。

DataFrame

plt.figure(figsize(4,3),dpi128)

#显示图像

中文文本都需要进行分词需要把里面的标点符号通用词去一下然后变成一个个切割开的单词。

import

pd.read_csv(停用词.txt,index_colFalse,quoting3,sep\t,names[stopword],

encodingutf-8)

df[text]df[Content].astype(str).apply(txt_cut)

查看前五行、

,).replace(,).replace(/,).replace(

,))

sklearn.feature_extraction.text

import

CountVectorizer,TfidfVectorizer

from

TfidfVectorizer(ngram_range(2,2))

#2元词袋

tf_vectorizer.fit_transform(df_ham[text])

tf_vectorizer.get_feature_names_out()

tfidf_values

print(feature_names.shape,tfidf_values.shape)

TF-IDF

tf_vectorizer.get_feature_names_out(),frequency:np.count_nonzero(X.toarray(),

axis0),weight:

pd.DataFrame(data1).sort_values(byfrequency

,ascendingFalse,ignore_indexTrue)

df1.head()

df2pd.DataFrame(data1).sort_values(byfrequency

,ascendingFalse,ignore_indexTrue)

plt.figure(figsize(7,3),dpi256)

sns.barplot(xdf2[word][:20],ydf2[frequency][:20])

plt.xticks(rotation70,fontsize9)

plt.ylabel(频率)

[1,2,3,4,5,6,7,8,9,A,B,C,D,E,F]color

#.join([random.choice(colorArr)

for

word_counts_updatedword_counts.most_common()

non_chinese_pattern

non_chinese_pattern.match(item[0])]

Generate

wordcloud.generate_from_frequencies(dict(filtered_word_counts_regex))

Display

TfidfVectorizer(ngram_range(2,2))

#2元词袋

tf_vectorizer.fit_transform(df_spam[text])

#print(tf_vectorizer.get_feature_names_out())

tf_vectorizer.get_feature_names_out()

tfidf_values

print(feature_names.shape,tfidf_values.shape)

TF-IDF

tf_vectorizer.get_feature_names_out(),frequency:np.count_nonzero(X.toarray(),

axis0),weight:

pd.DataFrame(data1).sort_values(byfrequency

,ascendingFalse,ignore_indexTrue)

df1.head()

df2pd.DataFrame(data1).sort_values(byfrequency

,ascendingFalse,ignore_indexTrue)

plt.figure(figsize(7,3),dpi256)

sns.barplot(xdf2[word][:20],ydf2[frequency][:20])

plt.xticks(rotation70,fontsize9)

plt.ylabel(频率)

word_counts_updatedword_counts.most_common()

non_chinese_pattern

non_chinese_pattern.match(item[0])]

Generate

wordcloud.generate_from_frequencies(dict(filtered_word_counts_regex))

Display

#准备X和y还是一样的tf-idf的词表矩阵这里限制一下矩阵的维度为5000免得数据维度太大了训练时间很长。

#取出X和y

TfidfVectorizer(max_features5000,max_df0.1,min_df3)

#使用Tfidf将文本转化为向量

vectorizer.get_feature_names_out(),tfidf:

X.toarray().sum(axis0).tolist()}

df1

pd.DataFrame(data1).sort_values(bytfidf

,ascendingFalse,ignore_indexTrue)

df1.head(10)

train_test_split(X,y,test_size0.2,stratifyy,random_state

y_train.shape,

KNeighborsClassifier(n_neighbors100)

#支持向量机

probabilityTrue)model_list[model1,model2,model3]

自定义一下训练和评价函数

y_test)print(f{model_name}方法在测试集的准确率为{round(accuracy,

3)})#

model.predict(X_test))print(f混淆矩阵\n{cm})#

绘制混淆矩阵热力图disp

ConfusionMatrixDisplay(confusion_matrixcm,

display_labels[spam,

ham])disp.plot(cmapplt.cm.Blues)plt.title(fConfusion

Matrix

{roc_auc:.6f}))plt.xlabel(False

Positive

Curve)plt.legend()plt.show()return

accuracy

model_name):accuracyevaluate_model(model,

X_train,

name)accuracys.append(accuracy)

accuracys

plt.figure(figsize(7,3),dpi128)

sns.barplot(ymodel_name,xaccuracys,orienth)

plt.xlabel(模型准确率)

plt.xticks(fontsize10,rotation45)

plt.show()

模型再实例化一下我们计算分类问题常用的四个评价指标准确率精准度召回率F1值

from

KNeighborsClassifier(n_neighbors100)

#支持向量机

probabilityTrue)model_list[model1,model2,model3]

自定义评价指标

y_predict):accuracyclassification_report(y_test,

y_predict,output_dictTrue)[accuracy]sclassification_report(y_test,

y_predict,output_dictTrue)[weighted

avg]precisions[precision]recalls[recall]f1_scores[f1-score]#kappacohen_kappa_score(y_test,

y_predict)return

accuracy,precision,recall,f1_score

kappa

evaluation2(lis):arraynp.array(lis)return

array.mean()

df_evalpd.DataFrame(columns[Accuracy,Precision,Recall,F1_score])

for

range(3):model_Cmodel_list[i]namemodel_name[i]model_C.fit(X_train,

y_train)predmodel_C.predict(X_test)sclassification_report(y_test,

pred)sevaluation(y_test,pred)df_eval.loc[name,:]list(s)

df_eval

bar.get_height()ax.text(bar.get_x()

bar.get_width()/2,

df_col.indexax.set_xticks(range(len(df_col)))ax.set_xticklabels(names,

fontsize10,

y_predict):accuracyclassification_report(y_test,

y_predict,output_dictTrue)[accuracy]sclassification_report(y_test,

y_predict,output_dictTrue)[weighted

avg]precisions[precision]recalls[recall]f1_scores[f1-score]#kappacohen_kappa_score(y_test,

y_predict)return

accuracy,precision,recall,f1_score

kappa

evaluation2(lis):arraynp.array(lis)return

array.mean()

cross_val(modelNone,XNone,YNone,K5,repeated1,show_confusion_matrixTrue):df_meanpd.DataFrame(columns[Accuracy,Precision,Recall,F1_score])

df_stdpd.DataFrame(columns[Accuracy,Precision,Recall,F1_score])for

range(repeated):print(f正在进行第{n1}次重复K折.....随机数种子为{n}\n)kf

KFold(n_splitsK,

random_staten)Accuracy[]Precision[]Recall[]F1_score[]print(f

开始本次在{K}折数据上的交叉验证.......\n)i1for

train_index,

正在进行第{i}折的计算)X_trainX[train_index]y_trainnp.array(y)[train_index]X_testX[test_index]y_testnp.array(y)[test_index]model.fit(X_train,y_train)predmodel.predict(X_test)scorelist(evaluation(y_test,pred))Accuracy.append(score[0])Precision.append(score[1])Recall.append(score[2])F1_score.append(score[3])if

show_confusion_matrix:#数据透视表混淆矩阵print(混淆矩阵)table

pd.crosstab(y_test,

colnames[Predicted])#print(table)plt.figure(figsize(4,3))sns.heatmap(table,cmapBlues,fmt.20g,

annotTrue)plt.tight_layout()plt.show()#计算混淆矩阵的各项指标print(混淆矩阵的各项指标为)print(classification_report(y_test,

pred))print(f

第{i}折的准确率为{round(score[0],4)}Precision为{round(score[1],4)}Recall为{round(score[2],4)}F1_score为{round(score[3],4)})i1print(f

———————————————完成本次的{K}折交叉验证———————————————————\n)Accuracy_mean,Accuracy_stdevaluation2(Accuracy)Precision_mean,Precision_stdevaluation2(Precision)Recall_mean,Recall_stdevaluation2(Recall)F1_score_mean,F1_score_stdevaluation2(F1_score)print(f第{n1}次重复K折本次{K}折交叉验证的总体准确率均值为{Accuracy_mean}方差为{Accuracy_std})print(f

总体Precision均值为{Precision_mean}方差为{Precision_std})print(f

总体Recall均值为{Recall_mean}方差为{Recall_std})print(f

总体F1_score均值为{F1_score_mean}方差为{F1_score_std})print(\n\n)df1pd.DataFrame(dict(zip([Accuracy,Precision,Recall,F1_score],[Accuracy_mean,Precision_mean,Recall_mean,F1_score_mean])),index[n])df_meanpd.concat([df_mean,df1])df2pd.DataFrame(dict(zip([Accuracy,Precision,Recall,F1_score],[Accuracy_std,Precision_std,Recall_std,F1_score_std])),index[n])df_stdpd.concat([df_std,df2])return

df_mean,df_std

KNeighborsClassifier(n_neighbors100)

#支持向量机

nb_crosseval,nb_crosseval2cross_val(modelmodel,XX,Yy,K5,repeated6)

nb_crosseval

KNeighborsClassifier(n_neighbors100)

knn_crosseval,knn_crosseval2cross_val(modelmodel,XX,Yy,K5,repeated6,show_confusion_matrixFalse)

knn_crosseval

svc_crosseval,svc_crosseval2cross_val(modelmodel,XX,Yy,K5,repeated6,show_confusion_matrixFalse)

评价指标

plt.subplots(1,4,figsize(16,3),dpi128)

for

enumerate(nb_crosseval.columns):nint(str(14)str(i1))plt.subplot(n)plt.plot(nb_crosseval[col],

labelNB)plt.plot(knn_crosseval[col],

b-.,

labelKNN)plt.plot(svc_crosseval[col],

r-^,

labelSVC)plt.title(f不同模型的{col}对比)plt.xlabel(重复交叉验证次数)plt.ylabel(col,fontsize16)plt.legend()

plt.tight_layout()

plt.subplots(1,4,figsize(16,3),dpi128)

for

enumerate(nb_crosseval2.columns):nint(str(14)str(i1))plt.subplot(n)plt.plot(nb_crosseval2[col],

labelNB)plt.plot(knn_crosseval2[col],

b-.,

labelKNN)plt.plot(svc_crosseval2[col],

r-^,

labelSVC)plt.title(f不同模型的{col}方差对比)plt.xlabel(重复交叉验证次数)plt.ylabel(col,fontsize16)plt.legend()

plt.tight_layout()

朴素贝叶斯模型在数据集上表现出了相对较高的性能。

具体来说它在准确率Accuracy、精确率Precision、召回率Recall和F1分数F1-score方面均取得了稳定的表现分别达到了约96%的水平。

这表明朴素贝叶斯模型在数据分类方面具有较高的效果并且不易受到数据波动的影响。

###

与朴素贝叶斯相比k近邻模型在性能上稍显不及。

尽管其在准确率和F1分数方面表现相当但在精确率和召回率方面略有下降分别在95%左右。

这可能表明k近邻模型在处理数据集中的某些特征时存在一定的困难导致了一些分类错误。

###

支持向量机SVM模型在这份数据集上展现了最佳的性能。

其在所有评估指标上均表现出了接近98%的高水平包括准确率、精确率、召回率和F1分数。

这表明支持向量机模型在数据分类任务中具有较强的鲁棒性和泛化能力能够有效地捕捉数据之间的复杂关系并进行准确的分类。

综上所述支持向量机模型在这份数据集上表现最佳其稳定性和高性能使其成为首选模型。

朴素贝叶斯模型在某些情况下也是一个可行的选择而k近邻模型可能需要进一步优化以提高其性能。

支持向量机的准确率最高模型波动的方差小效果最好下面对它进行超参数搜索。

超参数搜索

GridSearchCV,RandomizedSearchCV

参数范围

GridSearchCV(estimatorSVC(kernelrbf),

cv3)

[6,7,8,9,10,11,12,13,14],gamma:

0.08,0.09,0.1,0.15,0.2,0.3]}model

GridSearchCV(estimatorSVC(kernelrbf),

cv3)

matrix,cmapplt.cm.Blues):plt.imshow(cm,

cmapcmap)plt.title(title)plt.colorbar()tick_marks

np.arange(len(classes))plt.xticks(tick_marks,

classes,

rotation0)plt.yticks(tick_marks,

classes)thresh

itertools.product(range(cm.shape[0]),

range(cm.shape[1])):plt.text(j,

cm[i,

j],horizontalalignmentcenter,colorwhite

cm[i,

black)plt.tight_layout()plt.ylabel(True

label)

print(f准确率精确度召回率F1值{np.round(evaluation(y_test,pred),6)})

plot_confusion_matrix(confusion_matrix(y_test,pred),[0,1])

plt.show()

创作不易看官觉得写得还不错的话点个关注和赞吧本人会持续更新python数据分析领域的代码文章~(需要定制类似的代码可私信)