。

文章的核心思想类似于Word2Vec的skip-gram方法即通过当前句子预测上下文句子。

整体架构如下

文章重点技术

文章的整体架构选用基于GRU的encoder-decoder网络架构。

给定输入的句子三元组

(s_{i-1},

rtσ(Wr​xtUr​ht−1)∈(0,1),ztσ(Wz​xtUz​ht−1)∈(0,1),httanh(WxtU(rt⊙ht−1)),ht(1−zt)⊙ht−1zt⊙ht其中

r^t,

接下来将句子编码分别传入到解码GRU中用于预测当前句子相邻的上/下一个句子

s_{i-1},

rtσ(Wrd​xt−1Urd​ht−1Cr​hi​)∈(0,1),ztσ(Wzd​xtUzd​ht−1)Cz​hi​∈(0,1),httanh(WdxtUd(rt⊙ht−1)Chi​),ht(1−zt)⊙ht−1zt⊙ht即计算当前时刻的解码输出时会考虑上一时刻的输入词嵌入和当前时刻的编码输出

h_i

hi1t​训练目标为通过前面时刻的单词预测输入单词及对应编码嵌入当前时刻

exp

P(wi1t​∣wi1t​,hi​)∝exp(vwi1t​​,hi1t​)其中

v_{w_{i1}^t}

总结来说模型会首先对输入句子进行编码然后将该编码得到的隐藏状态输入到其相邻句子的解码GRU中尝试生成与其相邻的句子。

类似于word2vec中的通过中心词预测上下文只是上下文窗口固定为1。

log

t∑​logP(wi1t​∣wi1t​,hi​)logP(wi−1t​∣wi−1t​,hi​)

3.2

为了处理词表中未出现的单词文章选择采用Word2Vec等较全的预训练单词嵌入进行补充。

由于该单词嵌入和Skip-thought训练的单词嵌入有一定的偏差所以文章先训练一个从Word2Vec到RNNSkip-thought的l2线性回归

\mathcal{V}_{w2v}\to

文章参考Skip-gram的思想通过训练一个基于RNN的编码-解码模型得到句子的预训练嵌入。

实验证明只需要在预训练的嵌入上增加一个简单的Logistic

Regression就可以持平针对下游任务精心设计的模型的表现在当下2015年达到了SOTA水平。

且文章通过t-SNE方法对训练的句向量进行了可视化表达发现训练的句向量在多个数据集上呈现较为理想按照标签组团的分布如下图所示。

文章给出的Skip-thought向量可以较好的捕捉到句子特征可供开发人员在此基础上进一步研究基于句向量的NLP任务。

原文传送门