解读4.

什么是BertBERT简介BERT的核心思想BERT的预训练策略BERT的应用为什么BERT如此受欢迎总结

代码展示

AutoTokenizer.from_pretrained(bert-base-chinese)labels

train_list

line.strip().split(,)labels.append(int(line[0]))text

text[:80]

len(text))train_list.append(token)import

numpy

TFBertForSequenceClassificationmodel

TFBertForSequenceClassification.from_pretrained(bert-base-chinese,

num_labels2)model.compile(losssparse_categorical_crossentropy,

metrics[accuracy])

此代码的主要目的是使用BERT模型进行序列分类。

具体来说它似乎是在处理某种情感分析任务因为代码中读取了标签和文本并试图用BERT模型来进行分类假设为正面或负面情感因为num_labels2。

整体流程

tqdm用于显示循环的进度条。

transformers提供预训练的模型和相关的工具。

数据预处理

定义了两个空列表labels和train_list用于存储从文件中读取的标签和文本数据。

打开一个名为ChnSentiCorp.txt的文件并从中读取数据。

假设每行的格式是“标签,文本”。

使用BERT的tokenizer将每行文本转化为token。

然后确保每行文本的token长度为80如果长度不足80则用0填充。

转换数据格式

将labels和train_list列表转换为numpy数组。

加载和初始化BERT模型

使用TFBertForSequenceClassification.from_pretrained方法加载bert-base-chinese预训练模型并指定类别数量为2。

编译模型设置损失函数和评估指标并显示模型摘要。

模型训练

使用处理后的train_list作为输入和labels作为目标进行模型训练。

显示训练历史。

综上代码的整体流程是导入库→数据预处理→数据格式转换→加载和初始化BERT模型→模型训练。

代码解读

可以在循环中添加进度条这一行导入了tqdm库它是一个在循环中显示进度条的库。

[1,

-7)这里首先定义了一个列表x。

接下来x[:10]表示获取列表x的前10个元素但因为x只有3个元素所以它其实会返回整个x。

[0]

-7将产生一个空列表因为乘以一个负数的结果是空。

所以print语句的输出将是[1,

from

AutoTokenizer这里从transformers库中导入了AutoTokenizer。

transformers库提供了很多预训练模型及其相关的工具AutoTokenizer是其中的一个。

tokenizer

AutoTokenizer.from_pretrained(bert-base-chinese)使用bert-base-chinese这个预训练模型的tokenizer。

这个tokenizer是针对中文BERT模型的。

labels

line.strip().split(,)labels.append(int(line[0]))text

text[:80]

len(text))train_list.append(token)这段代码读取文件ChnSentiCorp.txt并从中获取标签和文本数据。

每一行都是由一个标签和文本组成的两者之间用逗号分隔。

文本数据被tokenized并被截断或填充至长度80。

import

np.array(train_list)这里首先导入了numpy库并将labels和train_list转换为numpy数组。

from

TFBertForSequenceClassification从transformers库中导入了用于序列分类的TFBert模型。

model

TFBertForSequenceClassification.from_pretrained(bert-base-chinese,

num_labels2)初始化一个预训练的BERT模型用于序列分类。

这里指定了类别数量为2。

model.compile(losssparse_categorical_crossentropy,

metrics[accuracy])

model.summary()模型被编译使用了sparse_categorical_crossentropy作为损失函数并设置了accuracy作为评估指标。

model.summary()会显示模型的结构和参数信息。

Model:

tf_bert_for_sequence_classification

_________________________________________________________________Layer

(type)

_________________________________________________________________result

ylabels,

0.3147print(result.history){loss:

[0.9221097230911255,

}模型训练过程。

使用train_list作为输入数据labels作为标签。

批大小设置为128总共训练10轮。

训练完毕后会打印训练历史数据。

报错解决

TFBertForSequenceClassification

model

TFBertForSequenceClassification.from_pretrained(bert-base-chinese,

num_labels2)报错信息如下

requests.exceptions.ConnectTimeout:

HTTPSConnectionPool(hosthuggingface.co,

port443):

/bert-base-chinese/resolve/main/pytorch_model.bin

(Caused

ConnectTimeoutError(urllib3.connection.VerifiedHTTPSConnection

object

您的报错信息提示了连接超时问题。

当您尝试从huggingface的服务器加载预训练的模型时出现了这个问题。

网络问题您的机器可能无法访问huggingface的服务器。

这可能是由于网络速度慢、防火墙设置、网络断开或其他网络相关问题。

解决方案

请确保您的网络连接正常。

试试是否可以手动访问huggingface.co网站。

检查您的防火墙或代理设置确保它们没有阻止您访问huggingface的服务器。

Huggingface服务器问题有时由于服务器的高负载或其他问题huggingface的服务器可能会暂时不可用。

解决方案

使用代理如果您处于一个需要代理访问外部网站的网络环境中如在某些公司或国家那么可能需要配置代理。

解决方案

下载模型并本地加载如果以上方法都不起作用您可以手动下载模型然后从本地加载。

解决方案

手动从huggingface的模型库中下载bert-base-chinese模型。

将下载的模型存放在本地。

model

TFBertForSequenceClassification.from_pretrained(/path_to_directory/bert-base-chinese,

num_labels2)其中/path_to_directory/bert-base-chinese是您存放模型文件的本地目录。

4.2

Transformers是由Google在2018年提出的一个预训练的深度学习模型用于自然语言处理NLP任务。

BERT的突出特点是其双向性即它可以同时考虑文本中的前后上下文从而捕捉更丰富的语义信息。

双向性传统的语言模型如LSTM和GRU是单向的只能考虑前面的上下文或后面的上下文。

BERT通过同时考虑前后上下文来捕捉更复杂的语义信息。

预训练和微调BERT首先在大量无标签文本上进行预训练然后可以用少量的标注数据进行微调以适应特定的NLP任务。

Transformer架构BERT基于Transformer架构它是一个高效的自注意力机制可以捕捉文本中长距离的依赖关系。

Masked

(MLM)随机遮蔽句子中的一些单词并让模型预测这些遮蔽单词。

这样模型必须学习理解文本的上下文信息以预测遮蔽的部分。

Next

Sentence

(NSP)模型接收两个句子作为输入并预测第二个句子是否是第一个句子的下一个句子。

经过预训练后的BERT模型可以被微调并应用于各种NLP任务如文本分类、命名实体识别、问答系统等。

由于BERT能够捕捉丰富的上下文信息它在许多NLP任务中都取得了当时的最先进性能。

为什么BERT如此受欢迎

强大的性能BERT在多种NLP任务上都达到了当时的最先进的性能。

通用性同一个预训练的BERT模型可以被微调并应用于多种NLP任务无需从头开始训练。

可用性由于Google和其他组织发布了预训练的BERT模型和相关工具开发者可以轻松地使用BERT进行自己的NLP项目。

BERT是当前NLP领域的一个里程碑它改变了我们如何处理和理解文本的方式。

对于初学者理解BERT及其工作原理是深入研究现代NLP的关键。

希望这个简介能帮助您对BERT有一个初步的了解