9.4.1

RNNs#xff09;…之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模然而也存在需要后文预测前文的情况。

9.4.1

\overrightarrow{\boldsymbol{H}}_t\phi_l(\boldsymbol{X}_t\boldsymbol{W}^{(f)}_{xh}\overrightarrow{\boldsymbol{H}}_{t-1}\boldsymbol{W}^{(f)}_{hh}\boldsymbol{b}^{(f)}_h)\\

\overleftarrow{\boldsymbol{H}}_t\phi_l(\boldsymbol{X}_t\boldsymbol{W}^{(b)}_{xh}\overleftarrow{\boldsymbol{H}}_{t-1}\boldsymbol{W}^{(b)}_{hh}\boldsymbol{b}^{(b)}_h)

t​ϕl​(Xt​Wxh(f)​H

\overrightarrow{\boldsymbol{H}}_t,\overleftarrow{\boldsymbol{H}}_t\in\R^{n\times

t​,H

\boldsymbol{W}^{(f)}_{xh},\boldsymbol{W}^{(f)}_{hh},\boldsymbol{W}^{(b)}_{xh},\boldsymbol{W}^{(b)}_{hh}\in\R^{h\times

Wxh(f)​,Whh(f)​,Wxh(b)​,Whh(b)​∈Rh×h

表示权重参数

\boldsymbol{b}^{(f)}_h,\boldsymbol{b}^{(b)}_h\in\R^{1\times

bh(f)​,bh(b)​∈R1×h

\overrightarrow{\boldsymbol{H}}_t

和反向隐状态

\overleftarrow{\boldsymbol{H}}_t

2h}

\boldsymbol{O}_t\boldsymbol{H}_t\boldsymbol{W}_{hq}\boldsymbol{b}_q

Ot​Ht​Whq​bq​

\boldsymbol{W}_{hq}\in\R^{2h\times

Whq​∈R2h×q

在训练期间能够利用过去和未来的数据来估计现在空缺的词而在测试期间只有过去的数据因此精度将会很差。

下面的实验将说明这一点。

另外双向循环神经网络的计算速度非常慢。

其主要原因是网络的前向传播需要在双向层中进行前向和后向递归并且网络的反向传播还依赖于前向传播的结果。

因此梯度求解将有一个非常长的链。

双向层的使用在实践中非常少并且仅仅应用于部分场合。

例如填充缺失的单词、词元注释例如用于命名实体识别以及作为序列处理流水线中的一个步骤对序列进行编码例如用于机器翻译。

9.4.3

d2l.load_data_time_machine(batch_size,

num_steps)

通过设置“bidirectiveTrue”来定义双向LSTM模型

vocab_size,

travellerererererererererererererererererererererererererer

travellerererererererererererererererererererererererererer练习

\boldsymbol{H}_t

\overrightarrow{\boldsymbol{H}}_t\in\R^{n\times

h_1}

\overleftarrow{\boldsymbol{H}}_t\in\R^{n\times

h_2}

3在自然语言中一词多义很常见。

例如“bank”一词在不同的上下文“i

went

down”中有不同的含义。

如何设计一个神经网络模型使其在给定上下文序列和单词的情况下返回该单词在此上下文中的向量表示哪种类型的神经网络架构更适合处理一词多义