用BERT做中文邮件内容分类

项目背景与意义项目思路数据集介绍环境配置数据加载与预处理自定义数据集模型训练加载BERT预训练模型开始训练

预测效果

本文是《用BERT做中文邮件内容分类》系列的第二篇该系列项目持续更新中。

系列的起源是《使用PaddleNLP识别垃圾邮件》项目旨在解决企业面临的垃圾邮件问题通过深度学习方法探索多语言垃圾邮件的内容、标题提取与分类识别。

在本篇文章中我们使用PaddleNLP的BERT预训练模型根据提取的中文邮件内容判断邮件是否为垃圾邮件。

该项目的思路在于基于前一篇项目的中文邮件内容提取在98.5%的垃圾邮件分类器基线上通过BERT的finetune进一步提升性能。

项目思路

在《使用PaddleNLP识别垃圾邮件一》项目的基础上我们使用BERT进行finetune力求在LSTM的98.5%的基线上进一步提升准确率。

同时文章中详细介绍了BERT模型的原理和PaddleNLP对BERT模型的应用读者可以参考项目PaddleNLP2.0BERT模型的应用进行更深入的了解。

本项目参考了陆平老师的项目应用BERT模型做短文本情绪分类PaddleNLP

2.0但由于PaddleNLP版本迭代的原因进行了相应的调整和说明。

数据集介绍

Corpora这是一个公开的垃圾邮件语料库包括英文数据集trec06p和中文数据集trec06c。

在本项目中我们仅使用了TREC

2006提供的中文数据集进行演示。

数据集来源于真实邮件保留了邮件的原有格式和内容。

2006外还有TREC

项目中使用了PaddleNLP的BertTokenizer进行数据处理该tokenizer可以将原始输入文本转化成模型可接受的输入数据格式。

以下是数据加载与预处理的代码

解压数据集

get_data_in_a_file(original_path,

open(original_path,

get_data_in_a_file(trec06c/full/

str(str_list[1].split(\n)[0]))with

open(all_email.txt,

在项目中我们需要自定义数据集并使其数据格式与使用ppnlp.datasets.ChnSentiCorp.get_datasets加载后完全一致。

以下是自定义数据集的代码

class

SelfDefinedDataset(paddle.io.Dataset):def

__init__(self,

data):super(SelfDefinedDataset,

datadef

txt_to_list(file_name):res_list

[]for

open(file_name):res_list.append(line.strip().split(\t))return

res_listtrainlst

txt_to_list(test_list.txt)train_ds,

dev_ds,

SelfDefinedDataset.get_datasets([trainlst,

devlst,

项目中使用了PaddleNLP提供的BertForSequenceClassification模型进行文本分类的Fine-tune。

由于垃圾邮件识别是二分类问题所以设置num_classes为2。

加载预训练模型

ppnlp.transformers.BertForSequenceClassification.from_pretrained(bert-base-chinese,

num_classes2)开始训练

为了监控训练过程引入了VisualDL记录训练log信息。

以下是开始训练的代码

设置训练超参数

max(0.0,float(num_training_steps

current_step)

paddle.optimizer.lr.LambdaDecay(learning_rate,

lr_lambdalambda

paddle.optimizer.AdamW(learning_ratelr_scheduler,parametersmodel.parameters(),weight_decayweight_decay,apply_decay_param_funlambda

[p.name

paddle.nn.loss.CrossEntropyLoss()#

评估函数

labels)metric.update(correct)acc

1if

acc))writer.add_scalar(tagtrain/loss,

stepglobal_step,

valueloss)writer.add_scalar(tagtrain/acc,

stepglobal_step,

valueacc)loss.backward()optimizer.step()lr_scheduler.step()optimizer.clear_gradients()eval_loss,

eval_acc

dev_loader)writer.add_scalar(tageval/loss,

stepepoch,

valueeval_loss)writer.add_scalar(tageval/acc,

stepepoch,

valueeval_acc)可以看到在第2个epoch后验证集准确率已经达到99.4%以上在第3个epoch就能达到99.6%以上。

预测效果

完成模型训练后我们可以使用训练好的模型对测试集进行预测。

以下是预测效果的代码

data

[您好我公司有多余的发票可以向外代开,国税,地税,运输,广告,海关缴款书如果贵公司,厂,有需要请来电洽谈,咨询联系电话,罗先生谢谢顺祝商祺]

label_map

predictions[idx]))预测效果良好一个验证集准确率高达99.6%以上、基于BERT的中文邮件内容分类顺利完成

以上是本文的全部内容希望对读者理解如何使用BERT进行中文邮件内容分类有所帮助。

欢迎交流指导