----------…

安装torch113、cuda116并运行demo【Transformer】

02.

C:\Users\Administratornvidia-smi

Wed

±----------------------------------------------------------------------------

NVIDIA-SMI

|-------------------------------±---------------------±---------------------

GPU

±------------------------------±---------------------±---------------------

03.

的虚拟环境并配置到改路径地址D:/AworkStation/Anaconda3/envs

conda

D:/AworkStation/Anaconda3/envs/gpy38torch

python3.8

【不知为何管理员的windows身份了仍然需要使用管理员身份运行】

pip

https://download.pytorch.org/whl/cu116

python

Transformers-sentiment_analysis_with_rbt3

import

AutoModelForSequenceClassification

from

rD:\Auser\YZH\Pytorch深度学习入门与实战\Models\rbt3#

set_seed(seed)#

读取酒店评论数据https://github.com/SophonPlus/ChineseNlpCorpus

path

path):super().__init__()self.data

pd.read_csv(path)self.data.dropna(inplaceTrue)def

__len__(self):return

lengths[train_length,sample_length

train_length])

PyTorch从1.13及以后的版本中也支持lengths使用浮点数比例

len(train_set),

AutoTokenizer.from_pretrained(model_path)def

text_collate(batch):将单个样本数据组成的列表转换成一个批次的数据通常会对数据进行一些处理:param

batch:

一个批次数据的列表一个元素为一条样本包含输入和标签等:return:

labels

batch:texts.append(item[0])labels.append(item[1])#

tokenizer(texts,

return_tensorspt)inputs[labels]

(inputs)#

next(enumerate(valid_loader))[1]

为字典形式#

AutoModelForSequenceClassification.from_pretrained(model_path)

model.to(device)

optim.AdamW(model.parameters(),

lrlr)

在推断模式下优化内存使用和计算量以提高推断性能只允许进行前向传播操作不支持反向传播或梯度计算for

batch

output.logits.argmax(-1)total_correct

(preds

batch[labels]).sum().item()return

total_correct

range(num_epochs):model.train()for

batch

model(**batch)output.loss.backward()optimizer.step()optimizer.zero_grad()if

global_step

{output.loss.item():.6f})global_step

1acc

总体来说还是不错不足之处可以谅解毕竟价格放在这里要求不能太高。

id2label

logits.argmax(-1).item()print(f评论{review}\n预测结果{id2label.get(pred)})#

借助pipeline