算法综合效果6

https://gitee.com/dancheng-senior/postgraduate

课题说明

手写数学公式识别较传统OCR问题而言是一个更复杂的二维手写识别问题其内部复杂的二维空间结构使得其很难被解析传统方法的识别效果不佳。

随着深度学习在各领域的成功应用基于深度学习的端到端离线数学公式算法并在公开数据集上较传统方法获得了显著提升开辟了全新的数学公式识别框架。

然而在线手写数学公式识别框架还未被提出论文TAP则是首个基于深度学习的端到端在线手写数学公式识别模型且针对数学公式识别的任务特性提出了多种优化。

公式识别是OCR领域一个非常有挑战性的工作工作的难点在于它是一个二维的数据因此无法用传统的CRNN进行识别。

效果展示

Search。

Seq2Seq的Encoder是CNNDecoder是LSTM。

Encoder和Decoder之间插入Attention层具体操作是这样Encoder到Decoder有个扁平化的过程Attention就是在这里插入的。

具体模型的可视化结果如下

关键代码实现

tf.variable_scope(convolutional_encoder):#

conv

activationtf.nn.relu)image_summary(out_1_layer,

out)out

activationtf.nn.relu)image_summary(out_2_layer,

out)out

activationtf.nn.relu)image_summary(out_3_layer,

out)out

activationtf.nn.relu)image_summary(out_4_layer,

out)if

activationtf.nn.relu)image_summary(out_5_layer,

out)if

activationtf.nn.relu)image_summary(out_6_layer,

out)if

self._config.positional_embeddings:#

from

add_timing_signal_nd(out)image_summary(out_7_layer,

out)return

学长编码的部分采用的是传统的卷积神经网络该网络主要有6层组成最终得到[N

其中N表示数据的batch数W、H表示输出的大小这里WH是不固定的从数据集的输入来看我们的输入为固定的buckets具体如何解决得到不同解码维度的问题稍后再讲

当我们得到特征图之后我们需要进行reshape操作对特征图进行扁平化代码具体操作如下

tf.shape(img)[0]

C])当我们在进行解码的时候我们可以直接运用seq2seq来得到我们想要的结果这个结果可能无法达到我们的预期。

因为这个过程会相应的丢失一些位置信息。

位置信息嵌入Positional

通过位置信息的嵌入我不需要增加额外的参数的情况下通过计算512维的向量来表示该图片的位置信息。

具体计算公式如下

其中p为位置信息f为频率参数。

从上式可得图像中的像素的相对位置信息可由sin()或cos表示。

我们知道sin(ab)或cos(ab)可由cos(a)、sin(a)、cos(b)以及sin(b)等表示。

也就是说sin(ab)或cos(ab)与cos(a)、sin(a)、cos(b)以及sin(b)线性相关这也可以看作用像素的相对位置正、余弦信息来等效计算相对位置的信息的嵌入。

这个计算过程在tensor2tensor库中已经实现下面我们看看代码是怎么进行位置信息嵌入。

代码实现位于/model/components/positional.py。

def

max_timescale1.0e4):static_shape

[20,

tf.exp(tf.to_float(tf.range(num_timescales))

len

计算x或y方向的位置信息[0,1,2...,13]scaled_time

pos

tf.concat([tf.sin(scaled_time),

axis1)

x得到公式图片xy方向的位置信息后只需要要将其添加到原始特征图像上即可。

算法综合效果

https://gitee.com/dancheng-senior/postgraduate