78 字
1 分钟
Normalizaiton

AdaLN#

 自适应 层归一化(Adaptive Layer Normalization,adaLN)是一种归一化技术,用于 深度学习模型 中特征的标准化。它结合了传统的层归一化(Layer Normalization, LN)和自适应学习的特性,以提高模型在不同任务和数据集上的表现。

LN(x)=γ(xμ(x)σ(x))+βLN(x) =\gamma \left( x-\frac{\mu(x)}{\sigma(x)} \right)+\beta