1. 遇到问题的章节 / Affected Chapter
Chapter2.2.3
2. 具体问题描述 / Problem Description
2.2.3 层归一化这一小节,文档的描述都是类似于“归一化为标准正态分布”,这种表述实际上是不正确的。
3. 问题重现材料 / Reproduction Materials
其实归一化最终是将变量变为了均值为0,标准差为1的变量而不是标准正态变量(具体在文档中指的就是特征/列,将特征归一化)。只有当样本量(具体在这里批归一化中就是指的m样本量)趋于+∞时,这个分布才约等于正态分布(专业表述叫做渐近正态分布)。背后的数学原理是中心极限定理。
确认事项 / Verification