关于Vanilla Transformer的种种细节
从结构、注意力到 FFN、位置编码与初始化,记录 Vanilla Transformer 的若干细节。
Jerry 的个人记录
这里记下一些让我好奇的事。最近常常是 AI,也包括阅读、观察,以及还没有想明白的问题。机器学习、深度学习、数学和工程,是顺着这些问题继续学习时经过的路径。
从结构、注意力到 FFN、位置编码与初始化,记录 Vanilla Transformer 的若干细节。
从似然、Score Function 到 Fisher Information 的简要整理。
从梯度下降到 Momentum、AdaGrad、RMSProp 与 Adam 的整理。
从换元积分、二维连续随机变量一路推导到 F 分布。
数理统计讲义中参数假设检验部分的学习笔记。