好的话别忘了点赞收藏呀本人每周都会更新关于人工智能和大数据相关的内容内容多为原创Python

Java

这个系列主要和大家分享深度学习框架Tensorflow2的各种api从基础开始。

#博学谷IT学习技术支持#

深度学习框架Tensorflow2系列前言一、文本分类任务实战二、数据集介绍三、RNN模型所需数据解读四、实战代码1.数据预处理2.构建初始化embedding层3.构建训练数据4.自定义双层RNN网络模型5.设置参数和训练策略6.模型训练

一、文本分类任务实战

训练和测试集都是比较简单的电影评价数据集标签为0和1的二分类表示对电影的喜欢和不喜欢

三、RNN模型所需数据解读

RNN是一个比较基础的序列化模型其中输入的数据为[batch_size,max_len,feature_dim]

四、实战代码

warnings.filterwarnings(ignore)

import

open(./data/train.txt,encodingutf-8)

f:for

len(words))Path(./vocab).mkdir(exist_okTrue)with

w,encodingutf-8)

open(./vocab/word.txt,encodingutf-8)

f:for

open(./data/glove.6B.50d.txt,encodingutf-8)

0for

./vocab/word.npy)得到的结果如下:word.txt中的每个单词转换成对应的向量

3.构建训练数据

tf.data.Dataset.from_generator(lambda:

data_generator(params[train_path],

_shapes,output_types

ds.shuffle(params[num_samples])ds

ds.prefetch(tf.data.experimental.AUTOTUNE)#设置缓存序列目的加速else:ds

tf.data.Dataset.from_generator(lambda:

data_generator(params[test_path],

_shapes,output_types

ds.prefetch(tf.data.experimental.AUTOTUNE)return

ds4.自定义双层RNN网络模型

params):super().__init__()self.embedding

tf.Variable(np.load(./vocab/word.npy),dtypetf.float32,namepretrained_embedding,trainableFalse,)self.drop1

tf.keras.layers.Dropout(params[dropout_rate])self.drop2

tf.keras.layers.Dropout(params[dropout_rate])self.drop3

tf.keras.layers.Dropout(params[dropout_rate])self.rnn1

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(params[rnn_units],

return_sequencesTrue))self.rnn2

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(params[rnn_units],

return_sequencesTrue))self.rnn3

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(params[rnn_units],

return_sequencesFalse))self.drop_fc

tf.keras.layers.Dropout(params[dropout_rate])self.fc

tf.keras.layers.Dense(2*params[rnn_units],

call(self,

tf.nn.embedding_lookup(self.embedding,

inputs)x

history[-(params[num_patience]1):]for

range(1,

open(params[vocab_path],encodingutf-8)

f:for

None))#设置输入的大小或者fit时候也能自动找到decay_lr

tf.optimizers.schedules.ExponentialDecay(params[lr],

1000,

logger.setLevel(logging.INFO)6.模型训练

while

tape:#梯度带记录所有在上下文中的操作并且通过调用.gradient()获得任何上下文中计算得出的张量的梯度logits

model(texts,

tf.nn.sparse_softmax_cross_entropy_with_logits(labelslabels,

logitslogits)loss

tf.reduce_mean(loss)optim.lr.assign(decay_lr(global_step))grads

tape.gradient(loss,

model.trainable_variables)grads,

params[clip_norm])

#将梯度限制一下有的时候回更新太猛防止过拟合optim.apply_gradients(zip(grads,

model.trainable_variables))#更新梯度if

global_step

axis-1)m.update_state(y_truelabels,

y_predy_pred)acc

m.result().numpy()logger.info(Evaluation:

Testing

{:.3f}.format(acc))history_acc.append(acc)if

acc

is_descending(history_acc):logger.info(Testing

Accuracy

Stop.format(params[num_patience]))break总结

通过RNN文本分类任务代码案例实战学习Tensorflow2的各种api。