停止训练

随着网络层数的增加会出现梯度弥散现象可以通过把激活函数sigmod

更换为

会发生震荡而迟迟不能接近极小值所以对更新梯度引入Momentum概念加速SGD并抑制震荡也就是在SGD基础上引入了一阶动量

初始化动量

在Adagrad算法中每个参数的学习率各不相同。

计算某参数的学习率时需将该参数前面所有时间步的梯度平方求和随着时间步的增加学习率将减小.

但因为那个分母是单调递增的会使得学习率单调递减至0可能会使得训练过程提前结束即便后续还有数据也无法学到必要的知识

方案4

Hinton提出是梯度下降优化算法的扩展。

在AdaGrad的基础上对二阶动量的计算进行了改进即有历史梯度的信息但是我又不想让信息一直膨胀那么只要让历史信息一直衰减就好了。

因此得到RMSProp的二阶动量计算公式

如下图所示截图来自https://arxiv.org/pdf/1609.04747.pdf

方案4

Keras是一个由Python编写的开源人工神经网络库可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口进行深度学习模型的设计、调试、评估、应用和可视化

Keras在代码结构上由面向对象方法编写完全模块化并具有可扩展性其运行机制和说明文档有将用户体验和使用难度纳入考虑并试图简化复杂算法的实现难度

[1]。

Keras支持现代人工智能领域的主流算法包括前馈结构和递归结构的神经网络也可以通过封装参与构建统计学习模型

[2]。

在硬件和开发环境方面Keras支持多操作系统下的多GPU并行计算可以根据后台设置转化为Tensorflow、Microsoft-CNTK等系统下的组件

Chollet此外其GitHub项目页面包含6名主要维护者和超过800名直接贡献者

[4]。

Keras在其正式版本公开后除部分预编译模型外按MIT许可证开放源代码

[1]

batch_sizefit训练evaluate验证测试集predict预测

model

model.add(Dense(input_dim28*28,

units

activationsoftmax))model.compile(losscategorical_crossentropy,

optimizeradam

https://www.cnblogs.com/picassooo/p/12347927.html