从SGD到AdamW：优化器演进史与Transformer时代的最佳实践

从SGD到AdamW优化器演进史与Transformer时代的最佳实践在深度学习的训练过程中优化器扮演着至关重要的角色。它决定了模型如何从数据中学习影响着训练速度、收敛效果以及最终性能。从最初的随机梯度下降SGD到如今Transformer模型训练标配的AdamW优化器的发展历程反映了深度学习领域对更高效、更稳定训练方法的持续追求。1. 优化器的进化之路解决核心痛点的技术迭代1.1 SGD简单但低效的起点随机梯度下降SGD作为最基础的优化器其核心思想直白而有力沿着损失函数的负梯度方向更新参数。公式表示为θ θ - α * ∇J(θ)其中θ模型参数α学习率∇J(θ)损失函数关于参数的梯度SGD的主要局限性对所有参数使用相同的学习率忽视了不同参数可能需要的不同更新幅度在损失函数曲面存在峡谷地形时容易产生剧烈震荡缺乏动量概念难以有效利用历史梯度信息提示在简单凸优化问题上SGD表现尚可但在复杂的深度学习模型中这些缺陷会被放大。1.2 Momentum引入物理动量的直觉为解决SGD的震荡问题Momentum优化器引入了物理学中的动量概念。它通过累积历史梯度来平滑更新方向v γ * v α * ∇J(θ) θ θ - v关键改进γ动量系数通常设为0.9左右在梯度方向一致的维度上加速更新在梯度方向变化的维度上抑制震荡实际效果对比优化器训练速度震荡程度超参数敏感性SGD慢高高Momentum快30%中中1.3 RMSProp自适应学习率的突破RMSProp的核心创新是为每个参数自动调整学习率解决了SGD和Momentum中固定学习率的问题。其更新规则E[g²] β * E[g²] (1-β) * g² θ θ - α * g / (√E[g²] ε)关键特点对频繁更新的参数使用较小学习率对稀疏更新的参数使用较大学习率特别适合处理非平稳目标如NLP任务2. Adam的崛起自适应矩估计的统一框架2.1 Adam的核心机制AdamAdaptive Moment Estimation结合了Momentum和RMSProp的优点成为2015年后最流行的优化器。其核心在于同时估计梯度的一阶矩均值和二阶矩未中心化方差m β1*m (1-β1)*g # 一阶矩估计 v β2*v (1-β2)*g² # 二阶矩估计 m_hat m / (1-β1^t) # 偏差修正 v_hat v / (1-β2^t) θ θ - α * m_hat / (√v_hat ε)Adam的三大优势自适应学习率不同参数有不同的有效学习率动量累积保持历史梯度信息偏差修正解决训练初期估计偏差问题2.2 Adam的实践表现在计算机视觉和自然语言处理任务中Adam通常表现出色在ResNet上比SGD快2-3倍达到相同准确率在RNN/LSTM训练中稳定性显著优于SGD对学习率的选择相对鲁棒常用默认值α0.001然而Adam并非完美无缺在部分任务上可能收敛到次优解内存占用较高需保存m和v两个状态超参数β1、β2的影响不易直观理解3. AdamWTransformer时代的优化器标准3.1 权重衰减的解耦创新AdamW的关键改进在于正确处理权重衰减L2正则化。传统Adam将权重衰减直接混入梯度计算而AdamW将其解耦# 传统AdamL2 grad grad λ * θ # AdamW θ (1 - α*λ) * θ - α * m_hat/(√v_hatε)这种解耦带来了两大好处权重衰减真正作为正则化项独立作用学习率α和衰减系数λ的影响不再耦合3.2 在Transformer模型中的卓越表现AdamW成为训练BERT、GPT等大模型的事实标准原因在于对比实验数据优化器BERT-base (MLM准确率)训练稳定性泛化能力SGD78.2%低中Adam81.5%中中AdamW82.7%高高具体优势体现防止大模型过拟合的效果显著超参数设置更加鲁棒与学习率调度器如线性warmup配合良好3.3 实际配置建议对于典型的Transformer训练推荐配置optimizer AdamW( params, lr5e-5, # 初始学习率 betas(0.9, 0.999), # β1, β2 eps1e-8, # 数值稳定项 weight_decay0.01 # 权重衰减系数 ) scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_steps1000, # warmup步数 num_training_steps100000 )注意warmup阶段对稳定训练至关重要特别是大batch size时。4. 优化器选择与调优实战指南4.1 不同场景下的优化器选择并非所有任务都适合AdamW以下是一些经验法则计算机视觉CNNSGD with Momentum配合适当学习率调度可能更好自然语言处理AdamW是绝对首选强化学习Adam或RMSProp更常见小数据集SGD可能防止过拟合超大模型AdamW几乎唯一选择4.2 超参数调优技巧学习率Adam/AdamW通常1e-5到1e-3SGD1e-3到1e-1配合动量0.9权重衰减计算机视觉1e-4NLP0.01到0.1大模型可能需要更小如1e-5实用调试策略先用默认参数快速验证模型能否学习观察训练初期loss下降曲线如果震荡剧烈降低学习率或增加β1如果收敛过慢适当提高学习率4.3 常见问题排查问题1训练初期loss不下降检查梯度是否正常流动梯度裁剪可能有帮助尝试更激进的warmup策略确认没有错误的权重初始化问题2训练后期性能波动检查学习率是否过高尝试增加β2如0.999→0.9999考虑添加适当的学习率衰减问题3验证集性能持续低于训练集增加权重衰减强度尝试label smoothing检查数据泄露问题在BERT预训练实践中我们发现AdamW配合0.01的weight decay和5000步的warmup能够在保持训练稳定的同时获得最佳下游任务表现。而对于视觉TransformerViT有时需要将weight decay降至0.001以获得更好结果。