1.1

轻松下载和训练最先进的预训练模型。

使用预训练模型可以降低计算成本以及节省从头开始训练模型的时间。

这些模型可用于不同模态的任务例如

文本文本分类、信息抽取、问答系统、文本摘要、机器翻译和文本生成。

图像图像分类、目标检测和图像分割。

音频语音识别和音频分类。

多模态表格问答系统、OCR、扫描文档信息抽取、视频分类和视觉问答。

Transformers

库支持三个最流行的深度学习库PyTorch、TensorFlow

相关资源对应网址如下

地址https://github.com/huggingface/transformers官方开发文档https://huggingface.co/docs/transformers/index预训练模型下载地址https://huggingface.co/models

1.1.2

supportALBERT✅✅✅✅✅BART✅✅✅✅✅BEiT❌❌✅❌✅BERT✅✅✅✅✅Bert

Generation✅❌✅❌❌BigBird✅✅✅❌✅BigBirdPegasus❌❌✅❌❌Blenderbot✅✅✅✅✅BlenderbotSmall✅✅✅✅✅CamemBERT✅✅✅✅❌Canine✅❌✅❌❌CLIP✅✅✅✅✅ConvBERT✅✅✅✅❌ConvNext❌❌✅✅❌CTRL✅❌✅✅❌Data2VecAudio❌❌✅❌❌Data2VecText❌❌✅❌❌Data2VecVision❌❌✅✅❌DeBERTa✅✅✅✅❌DeBERTa-v2✅✅✅✅❌Decision

Transformer❌❌✅❌❌DeiT❌❌✅❌❌DETR❌❌✅❌❌DistilBERT✅✅✅✅✅DPR✅✅✅✅❌DPT❌❌✅❌❌ELECTRA✅✅✅✅✅Encoder

decoder❌❌✅✅✅FairSeq

Machine-Translation✅❌✅❌❌FlauBERT✅❌✅✅❌Flava❌❌✅❌❌FNet✅✅✅❌❌Funnel

Neo❌❌✅❌✅GPT-J❌❌✅✅✅Hubert❌❌✅✅❌I-BERT❌❌✅❌❌ImageGPT❌❌✅❌❌LayoutLM✅✅✅✅❌LayoutLMv2✅✅✅❌❌LED✅✅✅✅❌Longformer✅✅✅✅❌LUKE✅❌✅❌❌LXMERT✅✅✅✅❌M2M100✅❌✅❌❌Marian✅❌✅✅✅MaskFormer❌❌✅❌❌mBART✅✅✅✅✅MegatronBert❌❌✅❌❌MobileBERT✅✅✅✅❌MPNet✅✅✅✅❌mT5✅✅✅✅✅Nystromformer❌❌✅❌❌OpenAI

GPT✅✅✅✅❌OpenAI

GPT-2✅✅✅✅✅OPT❌❌✅❌❌Pegasus✅✅✅✅✅Perceiver✅❌✅❌❌PLBart✅❌✅❌❌PoolFormer❌❌✅❌❌ProphetNet✅❌✅❌❌QDQBert❌❌✅❌❌RAG✅❌✅✅❌Realm✅✅✅❌❌Reformer✅✅✅❌❌RegNet❌❌✅❌❌RemBERT✅✅✅✅❌ResNet❌❌✅❌❌RetriBERT✅✅✅❌❌RoBERTa✅✅✅✅✅RoFormer✅✅✅✅✅SegFormer❌❌✅❌❌SEW❌❌✅❌❌SEW-D❌❌✅❌❌Speech

Encoder

decoder❌❌✅❌✅Speech2Text✅❌✅✅❌Speech2Text2✅❌❌❌❌Splinter✅✅✅❌❌SqueezeBERT✅✅✅❌❌Swin❌❌✅❌❌T5✅✅✅✅✅TAPAS✅❌✅✅❌TAPEX✅✅✅✅✅Transformer-XL✅❌✅✅❌TrOCR❌❌✅❌❌UniSpeech❌❌✅❌❌UniSpeechSat❌❌✅❌❌VAN❌❌✅❌❌ViLT❌❌✅❌❌Vision

Encoder

decoder❌❌✅✅✅VisionTextDualEncoder❌❌✅❌✅VisualBert❌❌✅❌❌ViT❌❌✅✅✅ViTMAE❌❌✅✅❌Wav2Vec2✅❌✅✅✅WavLM❌❌✅❌❌XGLM✅✅✅❌✅XLM✅❌✅✅❌XLM-RoBERTa✅✅✅✅✅XLM-RoBERTa-XL❌❌✅❌❌XLMProphetNet✅❌✅❌❌XLNet✅✅✅✅❌YOLOS❌❌✅❌❌

注意Tokenizer

answering掩码恢复Fill-mask文本摘要Summarization机器翻译Translation特征提取Feature

extraction

Transformers/pipelines/__init__.py

SUPPORTED_TASKS

例如当前我们需要进行一个情感分析的推断任务。

我们可以直接使用如下代码

from

Transformers/pipelines/__init__.py

SUPPORTED_TASKS

上面部分在进行推理时使用的是对应任务的默认模型。

但是有时候我们希望使用指定的模型可以通过指定

pipeline()

pipeline(sentiment-analysis,modelIDEA-CCNL/Erlangshen-Roberta-110M-Sentiment)

result

0.9374911785125732}]第二种方法和上面的方法加载的是相同的模型。

不过这种方法可以使用本地模型进行推理。

from

AutoModelForSequenceClassification

from

r../pretrained_model/IDEA-CCNL(Erlangshen-Roberta-110M-Sentiment)

model

AutoModelForSequenceClassification.from_pretrained(model_path)

tokenizer

AutoTokenizer.from_pretrained(model_path)classifier

modelmodel,

0.9374911785125732}]总结上面部分介绍了使用

pipeline()

对文本分类任务的推断的方法。

针对文本其他类型任务、图像和音频的任务使用方法基本一致详细可参照

1.3

有时候需要随机初始化模型权值比如使用自己的数据进行预训练。

首先我们需要初始化一个

config

使用的是默认值不过根据需要我们可以修改对应的参数。

当然我们也可以使用

config

r../pretrained_model/IDEA-CCNL(Erlangshen-Roberta-110M-Sentiment)

config

AutoConfig.from_pretrained(model_path)

model

AutoModel.from_config(config)1.3.2

使用预训练权值初始化模型权值

AutoModelForXXX.from_pretrained()

XXX是因为不同类型的任务所使用的类是不一样的。

例如我们需要加载一个文本序列分类模型需要使用

AutoModelForSequenceClassification。

from

AutoModelForSequenceClassificationmodel

AutoModelForSequenceClassification.from_pretrained(IDEA-CCNL/Erlangshen-Roberta-110M-Sentiment)AutoModelForSequenceClassification.from_pretrained()

from

AutoModelForSequenceClassificationmodel_path

r../pretrained_model/IDEA-CCNL(Erlangshen-Roberta-110M-Sentiment)

model

AutoModelForSequenceClassification.from_pretrained(model_path)我们也可以使用具体的模型类比如下面的

from

BertForSequenceClassificationmodel_path

r../pretrained_model/IDEA-CCNL(Erlangshen-Roberta-110M-Sentiment)

model

BertForSequenceClassification.from_pretrained(model_path)注意上面的模型类型都是针对

PyTorch

TFBertForSequenceClassification

总结官方推荐使用

因为模型本身是无法理解原始文本、图像或者音频的。

所以需要先将数据转换成模型可以接受的形式然后再传入模型中。

1.4.1

vocab这些数值会被构建成张量并作为模型的输入。

模型所需要的其他输入也是由

tokenizer

tokenizer。

只有这样才能确保文本以预训练语料库相同的方式进行分割并使用相同的对应

token

AutoTokenizer.from_pretrained()

加载一个预训练

r../pretrained_model/IDEA-CCNL(Erlangshen-Roberta-110M-Sentiment)

tokenizer

AutoTokenizer.from_pretrained(model_path)encoded_input

tokenizer(今天心情很好)

tokenizer.decode(encoded_input[input_ids])

[CLS]

当我们处理一批句子时它们的长度并不总是相同的。

但是模型的输入需要具有统一的形状shape。

填充是实现此需求的一种策略即为

token

当句子太短时可以采用填充的策略。

但有时候句子可能太长模型无法处理。

在这种情况下可以将句子进行截断。

tokenizer()

tokenizer(batch_sentences,paddingTrue,

truncationTrue,return_tensorspt)

{input_ids:tensor([[

0]]),attention_mask:tensor([[1,

0],[1,

针对音频数据预处理主要包括重采样Resample、特征提取Feature

Extractor、填充pad和截断Truncate详细信息请参照

这里。

针对多模态数据不同类型的数据使用前面介绍的对应预处理方法详细信息请参照

这里。

虽然每种数据的预处理方法不完全一样但是最终的目的都是一致的将原始数据转换为模型可以接受的形式。

1.5

下面将以一个文本多分类的例子简单介绍如何使用我们自己的数据训练一个分类模型。

1.5.1

print(datasets[train][0])在这里需要注意一下因为我们是使用自己的数据进行模型训练所以上面

load_dataset

传入的参数是一些字符串比如load_dataset(imdb)然后会自动下载对应数据集。

1.5.2

在将数据喂给模型之前需要将数据进行预处理Tokenize、填充、截断等。

from

AutoTokenizer.from_pretrained(configure[model_path])def

tokenize_function(examples):return

paddingmax_length,

datasets.map(tokenize_function,

batchedTrue)

print(tokenized_datasets[train][0])首先加载

tokenizer然后使用

AutoModelForSequenceClassification#

步加载模型

AutoModelForSequenceClassification.from_pretrained(configure[model_path],

num_labelsget_num_labels())与前面部分不同的地方在于上面的代码中有一个

num_labels

在模型训练过程中我们希望能够输出模型的性能指标比如准确率、精确率、召回率、F1

Datasets

compute_metrics(eval_pred):logits,

labels

metric.compute(predictionspredictions,

1.5.5

TrainingArguments(output_dirconfigure[output_dir],evaluation_strategyepoch)在上面的代码中我们设置了两个参数output_dir

epoch

经过前面一系列的步骤后我们终于可以开始进行模型训练了。

Transformers

Trainer

Trainer(modelclassification_model,argstraining_args,train_datasettokenized_datasets[train],eval_datasettokenized_datasets[validation],tokenizertokenizer,compute_metricscompute_metrics)

trainer.train()#

trainer.save_model()有时候我们需要调试模型就需要自己编写模型训练循环详细方法可以参照

1.5.7

经过前面的介绍现在我们就可以开始动手训练我们自己的文本多分类模型了。

Transformers

库微调预训练模型。

针对其他类型的任务相比文本分类任务会存在一些差异具体指导可以参照以下链接

任务类型参考链接文本分类Text

classificationhttps://huggingface.co/docs/transformers/tasks/sequence_classificationToken

classification例如

NERhttps://huggingface.co/docs/transformers/tasks/token_classification问答系统Question

answeringhttps://huggingface.co/docs/transformers/tasks/question_answering语言模型Language

modelinghttps://huggingface.co/docs/transformers/tasks/language_modeling机器翻译Translationhttps://huggingface.co/docs/transformers/tasks/translation文本摘要Sumarizationhttps://huggingface.co/docs/transformers/tasks/summarization多项选择Multiple

choicehttps://huggingface.co/docs/transformers/tasks/multiple_choice音频分类Audio

classificationhttps://huggingface.co/docs/transformers/tasks/audio_classification自动语音识别ASRhttps://huggingface.co/docs/transformers/tasks/asr图像分类Image

classificationhttps://huggingface.co/docs/transformers/tasks/image_classification

[1]

https://github.com/nlp-with-transformers/notebooks

[5]

https://github.com/datawhalechina/learn-nlp-with-transformers