)
目录标题一、基本概念二、SGD三、代码一、基本概念Epoch1 个 Epoch 表示模型完整遍历一次整个训练数据集的过程。例如训练 10 个 Epoch 表示模型将整个数据集反复学习 10 次。模型需要多次遍历数据集多个 Epoch才能逐步学习数据中的模式单次遍历数据集1 个 Epoch通常不足以让模型收敛多次遍历可以逐步优化模型参数。Batch SizeBatch Size 是每次训练时输入的样本数量。例如Batch Size32 表示每次用 32 个样本计算一次梯度并更新模型参数。小批量数据计算梯度比单样本Batch Size1更稳定比全批量Batch Size全体数据更高效。并且较小的 Batch Size 可能带来更多噪声有助于模型泛化。Iteration一次 Iteration 表示完成一个 Batch 数据的正向传播预测和反向传播更新参数的过程例如数据集现有 2000 个样本对其训练 10 个 Epoch选择 Batch Size64Batch 个数为 2000//64131132 个最后一个 Batch 仅有 16 个样本。每个 Epoch 中迭代次数 Iteration32 次。总迭代次数为 10×32320 次。总训练样本数为 10×200020000。二、SGD实际的操作时一般会从训练数据中随机选择一个小批量数据mini-batch分是不是有放回抽取然后用梯度下降法迭代多个轮次iteration这种“对随机选择的数据进行的梯度下降法”被称作随机梯度下降法stochastic gradient descent, SGD。具体过程如下1随机选择批数据mini-batch从训练数据中随机选出一部分数据学习的目标就是要减少这个 mini-batch 数据的损失函数值。2计算梯度对当前的各权重参数计算出梯度的值负梯度就表示了损失函数减小最多的方向。3更新参数按照之前梯度下降法的公式对权重参数沿负梯度方向进行微小更新。4重复迭代重复上面的步骤 123直到完成预定的总迭代次数。三、代码参考下一个blog实现 深度学习9:神经网络学习6:神经网络类实现和使用
