MXNet Gluon 归一化层完全指南从数据归一化到 BatchNorm、LayerNorm 与 InstanceNorm【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet归一化Normalization是深度神经网络训练中影响收敛速度与稳定性的关键技术之一。本文以 MXNet Gluon 的归一化模块为主线依次讲解输入数据的归一化、激活值的归一化以及 Gluon 中最常用的三种归一化块BatchNorm、LayerNorm、InstanceNorm的原理、参数、源码实现与实战代码。读完本文你将掌握在 Gluon 网络中正确选择归一化方法、配置axis/momentum/use_global_stats等关键参数、理解 running statistics 与beta/gamma学习参数并能够手动验证归一化计算结果的完整能力。为什么归一化有助于模型收敛训练深度神经网络时有几类技术被认为对模型收敛至关重要。一类是网络参数的初始化策略例如使用 Xavier 初始化可以在训练初期改善梯度在网络中的流动。另一类关键技术就是归一化将某些数值进行缩放和偏移使其服从均值为 0零中心化、标准差为 1单位方差的分布。具体归一化哪些数值取决于使用的方法。数据归一化示意图为什么这样做有帮助相关研究如 Ioffe Szegedy 关于 Batch Normalization 帮助优化的论文发现带有归一化的网络其损失函数更容易用随机梯度下降进行优化。其他原因还包括归一化可以防止激活函数饱和例如 Sigmoid 在两端梯度趋近于 0 的问题并防止某些特征因为数值尺度差异而在训练中占据主导地位。数据归一化Data Normalization归一化最常见的应用场景之一是对网络的输入数据进行预处理。操作分两步Step 1计算整个训练数据集的均值mean和标准差standard deviation。通常按通道channel分别计算虽然有时能看到对图像逐像素做归一化但按通道归一化更为常见。Step 2在训练和推理阶段用 Step 1 得到的统计量对每个 batch 的数据进行归一化。提示在网络的起始位置放置一个BatchNorm层可以达到类似的效果具体机制见后文「Beta and Gamma」一节这样就不需要手动计算和维护归一化统计量了。警告归一化所需的均值和标准差只能用训练数据集计算。如果测试数据集的信息泄漏进训练统计量会直接影响测试指标的可靠性。在使用 Gluon Model Zoo 中的预训练模型时通常会看到模型训练时使用的归一化统计量即 Step 1 得到的统计量。微调或推理时应当使用这些统计量来归一化自己的输入数据。transforms.Normalize是应用这种归一化的一种方式它应当被用在Dataset中。下面是用mx.np接口演示的完整示例import mxnet as mx from mxnet.gluon.data.vision.transforms import Normalize image_int mx.np.random.randint(low0, high256, size(1,3,2,2)) image_float image_int.astype(float32)/255 # 下面这组归一化统计量取自 gluon model zoo normalizer Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) image normalizer(image_float) image从实现上看Normalize定义在 python/mxnet/gluon/data/vision/transforms/image.py它本身是一个HybridBlock对形状为(C, H, W)或(N, C, H, W)的张量逐通道执行output[i] (input[i] - mean[i]) / std[i]其构造函数默认参数为mean0.0, std1.0如果传入标量则同一值会被应用到所有通道。在底层它通过npx.image.normalize这个算子完成计算。注意该变换期望输入已经是float32类型例如经过ToTensor变换将[0, 255]的整数像素除以 255 转为[0, 1]的浮点因此在代码示例中先执行了astype(float32)/255。激活归一化Activation Normalization归一化并不局限于网络输入同样的思想也可以应用在网络的内部在层与层之间对激活值做归一化。对于深层神经网络前面提到的绝大多数收敛收益恰恰来自这种内部归一化。MXNet Gluon 提供了三种最常用的归一化块BatchNorm、LayerNorm和InstanceNorm。它们可以像其他任何 Gluon Block 一样被使用通常放在Activation块之后。注意要仔细检查模型架构因为有些网络中归一化发生在Activation之前。进阶理解以下所有方法的共同点是——先把某个输入分布归一化零中心化、单位方差然后再用一个可训练参数beta做平移、用另一个可训练参数gamma做缩放。整体效果是把输入分布变为均值为beta、方差为gamma的分布同时也让网络在必要时能够「撤销」归一化的影响。Batch NormalizationBatch Normalization简称 BatchNorm是最流行的归一化技术之一。它对一个 batch 内的所有样本按每个通道独立地进行归一化对每个通道计算 batch 层面的均值与方差局部统计量并据此做平移和缩放。| Figure 1: NCHW 数据上的BatchNorm| Figure 2: NTC 数据上的BatchNorm| | - | - | ||| | 例如一批图像使用默认axis1| 例如一批序列覆盖默认值改用axis2等价于axis-1 |提示BatchNorm 也可以放在网络开头实现数据归一化但这与前面看到的数据归一化并不完全等价那是一种统计量固定的归一化。因为BatchNorm的统计量依赖当前 batch可能每个 batch 都不同而且归一化之后还可能有可训练的平移与缩放。警告当 batch size 较小时或样本的空间维度较小时batch 均值和方差的估计本身可能方差很大这会导致训练不稳定且全局统计量的估计不可靠。警告BatchNorm更适合卷积网络CNN而不是循环网络RNN。循环单元的输入分布会随时间变化按时间维度做归一化效果不佳此时LayerNorm更合适。如果确实要在序列数据上使用BatchNorm务必正确设置axis参数NTC 格式的数据应设置axis2等价于axis-1。下面用一个具体例子验证一批 2 个样本每个样本 2 个通道高和宽都是 2NCHW 格式。data mx.np.arange(start0, stop2*2*2*2).reshape(2, 2, 2, 2) print(data)在 Gluon 中使用mx.gluon.nn.BatchNorm块即可应用批归一化。它的创建与使用方式和其他 Gluon 块如Conv2D一致输入通常是上一层未归一化的激活值输出是可供下一层使用的归一化激活值。因为数据是 NCHW 格式这里直接使用默认的 axis 即可net mx.gluon.nn.BatchNorm()该块含有若干可训练参数后文详述因此仍需调用initialize初始化net.initialize()现在像训练时那样运行网络在autograd.record上下文作用域内with mx.autograd.record(): output net(data) loss mx.np.abs(output) loss.backward() print(output)记住BatchNorm在训练和推理阶段的运行方式不同。训练时使用 batch 统计量进行归一化推理时使用训练过程中观测到的 batch 统计量的指数滑动平均exponentially smoothed average。警告BatchNorm假定通道维度是第 2 维即axis1。你需要确保数据有通道维度如果通道不在第 2 维就要修改axis参数。例如形状为(100,32,32)的灰度图 batch 是不行的因为第 2 维是高度而非通道这种情况下需要用data.expand_dims(1)添加通道维度得到(100,1,32,32)。从输出可以看到激活值被缩放并围绕 0 居中每个通道内的激活值相同因为各通道是独立归一化的。我们可以手动计算每个通道的 batch 均值和方差来做快速验证axes list(range(data.ndim)) del axes[1] batch_means mx.np.mean(data, axisaxes) batch_square mx.np.square(data - batch_means.reshape(1, -1, 1, 1)) axes list(range(batch_square.ndim)) del axes[1] batch_vars mx.np.mean(batch_square, axisaxes) print(batch_means:, batch_means.asnumpy()) print(batch_vars:, batch_vars.asnumpy())然后用这些统计量缩放data的第一个元素确认BatchNorm计算出的-1.324是否正确print(manually calculated:, ((data[0][0][0][0] - batch_means[0])/mx.np.sqrt(batch_vars[0])).asnumpy()) print(automatically calculated:, output[0][0][0][0].asnumpy())running_mean 与 running_var训练中不断更新的全局统计量如前所述BatchNorm有一批在训练过程中更新的参数。其中 2 个参数不采用典型的梯度更新方式而是用指数平滑确定性地更新我们需要在训练期间持续追踪各 batch 的均值与方差平均以便在推理阶段用这些值进行归一化。为什么需要全局统计量因为在推理时往往 batch size 为 1batch 方差根本无法计算只能改用全局统计量另外训练与推理数据之间可能存在分布偏移不应简单地把这种偏移「归一化」掉。进阶当在另一个模型内部使用预训练模型时例如在实例分割模型中使用预训练 ResNet 作为图像特征提取器你可能希望在训练期间使用预训练模型的全局统计量。设置use_global_statsTrue可以在训练时使用全局 running 统计量并阻止其更新该参数对推理模式没有影响。经过一步具体来说是backward调用之后可以看到running_mean和running_var已经被更新print(running_mean:, net.running_mean.data().asnumpy()) print(running_var:, net.running_var.data().asnumpy())你会注意到 running 统计量与刚才计算的 batch 统计量并不相等而只是期望值的 10%。这是因为指数平均过程以及BatchNorm的momentum参数等于 0.9新值占 10%旧值占 90%旧值初始化为 0。随着训练推进running 统计量会逐步收敛到输入分布的统计量同时仍然足够灵活以适配输入分布的漂移。如果把同一个 batch 再重复使用 100 次实际训练中不会发生可以看到 running 统计量收敛到前面计算出的 batch 统计量for i in range(100): with mx.autograd.record(): output net(data) loss mx.np.abs(output) loss.backward() print(running_means:, net.running_mean.data().asnumpy()) print(running_vars:, net.running_var.data().asnumpy())从 Gluon 源码看这一行为定义在 python/mxnet/gluon/nn/basic_layers.py 的_BatchNorm中forward通过npx.batch_norm(x, gamma, beta, running_mean, running_var, ...)调用底层算子四个参数的grad_req中running_mean与running_var为null不参与梯度计算仅做滑动更新而gamma、beta为write正常反向传播。底层 C 算子定义在 src/operator/nn/batch_norm-inl.h其momentum默认 0.9、use_global_stats默认 false、axis默认 1并提供 CPUbatch_norm.cc、GPUbatch_norm.cu、cuDNNcudnn_batch_norm.cu与 oneDNNdnnl_batch_norm.cc多种后端实现。Gluon 默认的epsilon1e-5而算子层面默认eps为 1e-3 且在使用 cuDNN 时不得小于CUDNN_BN_MIN_EPSILON通常是 1e-5。Beta 和 GammaBatchNorm中还有两个以常规方式通过梯度训练的参数beta用于平移gamma用于缩放归一化后的分布这允许网络在需要时「撤销」归一化的影响。进阶有时为了让 BatchNorm 只做输入归一化可以把这两个参数的lr_mult学习率乘子设为 0从而阻止beta平移和gamma缩放。零中心化和单位方差缩放依然会发生只有归一化之后的平移与缩放被禁用。这两个参数还没有被更新因此仍是初始值。可以看到beta的默认值是 0不平移gamma的默认值是 1不缩放所以初始行为是保持分布为单位归一化print(beta:, net.beta.data().asnumpy()) print(gamma:, net.gamma.data().asnumpy())还可以查看这两个参数上的梯度。由于我们求的是绝对值之和的梯度可以预期gamma的梯度等于数据点的个数即 16。因此要最小化损失就应该减小gamma的值这会在trainer.step中被执行print(beta gradient:, net.beta.grad().asnumpy()) print(gamma gradient:, net.gamma.grad().asnumpy())在 Gluon 实现中_BatchNorm的构造参数包括axis1、momentum0.9、epsilon1e-5、centerTrue、scaleTrue、use_global_statsFalse以及beta_initializerzeros、gamma_initializerones、running_mean_initializerzeros、running_variance_initializerones、in_channels0。其中centerFalse时beta被忽略scaleFalse时gamma被忽略Gluon 内部会把scaleFalse映射为算子的fix_gammaTrue。in_channels不指定时参数形状会在第一次forward时根据输入张量的通道轴自动推断。推理模式Inference Mode推理时BatchNorm使用训练期间累计的全局统计量。由于我们反复使用同一批数据且全局 running 统计量已收敛推理结果与训练模式非常接近。默认情况下beta和gamma也会被应用除非显式移除output net(data) print(output)Layer NormalizationLayerNorm是更适合循环网络RNN的归一化方案。与BatchNorm按通道对 batch 内所有样本归一化不同LayerNorm是对单个样本的所有通道进行归一化。这样BatchNorm的一些缺点就不再存在小 batch size 不再是问题因为归一化统计量是在单个样本上计算的训练与推理模式混淆的问题也消失了因为LayerNorm在两种模式下行为一致。警告与BatchNorm的小 batch 问题类似如果输入通道数过小LayerNorm也可能出问题。使用足够大维度的 embedding大约 20可以避免这一点。警告当前 MXNet Gluon 的LayerNorm实现只沿单个轴应该是通道轴归一化。其他框架可以选择沿多个轴归一化这导致在 NCHW 输入上LayerNorm的默认行为存在差异——其他框架可以归一化 C、H、W而 MXNet Gluon 只归一化 C。记住LayerNorm的设计目标是 NTC 格式的数据因此默认归一化轴是-1对应通道 C。如果要对 NCHW 格式的数据使用LayerNorm需要改成axis1。| Figure 3: NCHW 数据上的LayerNorm| Figure 4: NTC 数据上的LayerNorm| | - | - | ||| | 例如一批图像覆盖默认值改用axis1| 例如一批序列使用默认axis-1|下面将LayerNorm应用到一批 2 个样本、每个样本 4 个时间步、2 个通道的数据上NTC 格式data mx.np.arange(start0, stop2*4*2).reshape(2, 4, 2) print(data)在 Gluon 中通过mx.gluon.nn.LayerNorm块应用层归一化。因为LayerNorm默认有两个可学习参数beta和gamma用于对每个通道做归一化后的平移与缩放需要调用initializenet mx.gluon.nn.LayerNorm() net.initialize() output net(data) print(output)可以看到对每个时间步、每个样本归一化都作用在其所有通道上。查看参数beta和gamma可以看到它们是按通道的本例中各有 2 个print(beta:, net.beta.data().asnumpy()) print(gamma:, net.gamma.data().asnumpy())从源码看LayerNorm定义在 python/mxnet/gluon/nn/basic_layers.py默认axis-1、epsilon1e-5、centerTrue、scaleTrueforward调用npx.layer_norm其核心公式为out (x - mean[x, axis]) / sqrt(Var[x, axis] eps) * gamma beta。底层算子实现见 src/operator/nn/layer_norm.cc 与 src/operator/nn/layer_norm-inl.h。Instance NormalizationInstanceNorm是一种不太常见的归一化技术但对某些任务如图像风格迁移很有用。与BatchNorm按通道对 batch 内所有样本归一化不同InstanceNorm是对每个样本的每个通道沿所有空间维度归一化即 batch 中的每个样本独立归一化。注意InstanceNorm更适合卷积网络CNN而非循环网络RNN。循环单元的输入分布会随时间变化按时间归一化效果不佳此时应优先考虑LayerNorm。| Figure 5: NCHW 数据上的InstanceNorm| Figure 6: NTC 数据上的InstanceNorm| | - | - | ||| | 例如一批图像使用默认axis1| 例如一批序列覆盖默认值改用axis2等价于axis-1 |下面将InstanceNorm应用到一批 2 个样本、每个样本 2 个通道、高和宽都为 2 的数据上NCHW 格式data mx.np.arange(start0, stop2*2*2*2).reshape(2, 2, 2, 2) print(data)在 Gluon 中通过mx.gluon.nn.InstanceNorm块应用实例归一化net mx.gluon.nn.InstanceNorm() net.initialize() output net(data) print(output)同样beta和gamma是按通道的本例各有 2 个print(beta:, net.beta.data().asnumpy()) print(gamma:, net.gamma.data().asnumpy())从源码看InstanceNorm定义在 python/mxnet/gluon/nn/basic_layers.py。一个值得注意的实现细节是它的默认参数为axis1, epsilon1e-5, centerTrue, scaleFalse即当前版本中gamma默认不参与训练grad_reqnull固定为 1而文档示例中打印出的按通道gamma是它的初始值ones。当你需要学习式的缩放时请显式设置scaleTrue。当axis1时forward直接调用npx.instance_norm当axis不是 1 时实现会先将数据在第 1 维与目标轴之间swapaxes归一化后再交换回来从而支持任意通道轴。底层算子定义在 src/operator/instance_norm-inl.h归一化公式为沿除第 0 维与axis之外的所有轴计算均值与方差out (x - mean) / sqrt(Var eps) * gamma beta。三种归一化块对比与选型建议特性BatchNormLayerNormInstanceNorm归一化范围每个通道跨 batch 内所有样本单个样本的所有通道每个样本的每个通道沿空间维度默认axis1NCHW 的通道轴-1NTC 的通道轴1NCHW 的通道轴训练/推理差异训练用 batch 统计量推理用 running 统计量无差异无差异小 batch 敏感性高统计量方差大低按单样本计算低按单样本计算典型适用场景CNN 图像网络RNN/Transformer 类序列模型图像风格迁移等生成任务gamma默认是否可训练是scaleTrue是scaleTrue否scaleFalse主要参数axis、momentum、epsilon、center、scale、use_global_statsaxis、epsilon、center、scaleaxis、epsilon、center、scale选择建议可以概括为图像卷积网络优先用BatchNorm默认axis1注意 NCHW 布局循环/序列模型优先用LayerNormNTC 布局用默认axis-1需要逐样本逐通道独立归一化的生成任务用InstanceNorm。无论哪种都要先确认数据布局与axis是否匹配再考虑center/scale是否保留后置的平移与缩放能力。所有归一化块的完整 API 文档与源码均可从 python/mxnet/gluon/nn/basic_layers.py 中继续深入查阅。【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
