二、大纲

本文章作为学习2023年《李宏毅机器学习课程》的笔记感谢台湾大学李宏毅教授的课程respect

读这篇文章必须先了解self-attention可参阅我上一篇。

二、大纲

Self-attention原来加入了residual和Layer

上图自底向上看关键点

接下来看下结构长啥样先遮住不一样的部分其他部分结构基本一致只不过这里用上了Masked

Multi-Head

说明这也很好理解右边的字符都还没输出出来怎么做运算因此只能是已经吐出来的左边的内容做self-attention这就是masked的含义。

attention

corss的意思就是vk来自Encoderq来自Decoder仅此而已。

其实也好理解Decoder是去还原结果的那可不得抽下Encoder编码时候的资讯和上下文语义信息才能还原缺一不可。

至此Transformer的结构就阐述完了无非就是Encoder

五、模型训练

Translation机器翻译可能使用原文复制这个技能对于模型而言比较容易毕竟它不需要创造新词汇了嘛这就是copy

Attention

意思就是不要乱Attention有的放矢地让模型做attention。

Beam

基本思想就是不要步步好有可能短期不好但是长期更好。

说的和人生似的。

训练过程记得让模型看些负样本不至于模型一步错步步错schedule

五、小结

最基本的掌握好Encoder和Decoder就很可以了其他的在实做过程中遇到问题再问问AI工具。