这几天打算整理一下学过的知识。手写笔记整理+代码理解，记录自己的学习

transformer

包括笔记和代码

详细的代码

如果有不明白的地方，可以看代码加深理解！！！

https://github.com/phbst/notes/blob/main/transformer!%20(1)/transformer.ipynb

分享自己的笔记

transformer架构以及数据流

这里写错了一点： 下三角的掩码矩阵是在训练阶段的decoder的子注意力阶段进行，防止看到未来信息。

不同阶段注意力

小细节

Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！