不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
怎么看待三十而已里说的养鱼让人玩物丧志，养鱼是魔鬼，是黑洞，养鱼毁三代鱼缸毁一生的话?
为什么智能家居普及率越来越高，但多数人只用基础功能？
网络小白如何建立一个网站，供别人下载文件（主要是PDF和MP3）?
雷军为什么不愿意用性价比打法进军NAS？
有没有一款音乐播放器，能连接nas音乐，创建音乐库，自动匹配歌词封面等等？类似infuse的概念呢？
公立医生帮联系民营救护车，800 公里收费 2.8 万元，收费合理吗？救护车收费标准是什么？
你最满意的10款 PC 软件是什么？
服务器能否拒绝非浏览器发起的HTTP请求？
如何看待Adobe公司新发布的project indigo ***?与安卓的谷歌相机孰优孰劣？
北京日报点名批评“苏超”过度娱乐化，它是否管的太宽了？为什么无良媒体不会被查封取缔？
电话：
座机：
邮箱：
地址：
