1. 优化算法入门从山坡滚球到数学公式想象你站在一座云雾缭绕的山坡上蒙着眼睛要找到下山的最快路径。这时候你会怎么做大多数人可能会用脚试探周围的地面找到最陡峭的方向迈出一步——这其实就是梯度下降法最直观的体现。而在数学优化的世界里我们面对的就是这样一座多维度的山目标函数需要找到它的最低点最小值。梯度下降法就像这个蒙眼下山的比喻每次只根据当前位置最陡峭的方向负梯度方向前进。举个例子假设我们要最小化函数f(x)x²从x2出发梯度导数是2x。第一次迭代时梯度为4如果学习率设为0.1下一步就会移动到2-0.1×41.6这样逐步向x0的最低点靠近。但现实中我们遇到的问题要复杂得多。比如训练一个图像识别模型时参数可能高达数百万维这时候优化算法的选择就至关重要了。我在实际项目中就遇到过这样的情况使用普通梯度下降训练一个CNN模型迭代了200次损失函数还在震荡下降而改用后面要介绍的拟牛顿法后不到50次迭代就达到了更好的效果。2. 梯度下降法简单但稳健的基础选手2.1 算法原理与几何解释梯度下降法建立在函数一阶泰勒展开的基础上f(x) ≈ f(x₀) ∇f(x₀)ᵀ(x-x₀)。这个线性近似告诉我们在x₀附近函数沿着梯度∇f(x₀)方向增长最快。因此我们反其道而行之按照xₖ₊₁ xₖ - η∇f(xₖ)更新参数其中η是学习率。用一个具体的例子来说明考虑二元函数f(x,y)x²2y²它的梯度是[2x,4y]。从点(1,1)开始第一次迭代的梯度是[2,4]。如果η0.1新位置就是(1-0.2, 1-0.4)(0.8,0.6)。这个过程就像把一个球放在这个抛物面上让它自然滚向最低点(0,0)。2.2 实现细节与变种在实际编码中梯度下降有几个重要变种# 批量梯度下降(BGD)示例 def bgd(X, y, theta, lr, epochs): m len(y) for _ in range(epochs): grad X.T.dot(X.dot(theta) - y) / m # 计算全量梯度 theta - lr * grad return theta # 随机梯度下降(SGD)示例 def sgd(X, y, theta, lr, epochs): for _ in range(epochs): for i in range(len(y)): rand_idx np.random.randint(len(y)) grad X[rand_idx] * (X[rand_idx].dot(theta) - y[rand_idx]) theta - lr * grad return theta批量梯度下降计算整个数据集的平均梯度稳定性好但计算量大随机梯度下降每次随机选取一个样本计算梯度计算量小但波动较大小批量梯度下降则是折中方案也是深度学习中最常用的方法。2.3 优缺点与适用场景梯度下降法的优势在于实现简单计算复杂度低只需一阶导数内存消耗小特别适合大规模问题对初始点选择不敏感稳定性较好但它的缺点也很明显收敛速度慢特别是接近最优点时对学习率敏感需要仔细调参在非凸问题中容易陷入局部最优在深度学习领域梯度下降的各种改进版本如Adam、RMSProp等成为了标准配置。我在NLP项目中使用Adam优化器时发现相比原始SGD它能自动调整学习率收敛速度明显提升。3. 牛顿法利用曲率信息的高阶玩家3.1 从牛顿迭代到牛顿优化牛顿法最初是为求方程根而设计的。以求解f(x)0为例根据泰勒展开f(x)≈f(x₀)f(x₀)(x-x₀)令其等于0得到迭代公式xₙ₊₁ xₙ - f(xₙ)/f(xₙ)。这个方法可以快速逼近函数的零点。将这个思想应用到优化中我们寻找的是梯度∇f0的点。因此将∇f用泰勒展开近似就得到了牛顿法的更新公式 xₖ₊₁ xₖ - H⁻¹(xₖ)∇f(xₖ) 其中H是Hessian矩阵二阶导矩阵。3.2 几何直观与算法特性牛顿法的几何解释很形象在当前位置用一个二次曲面拟合目标函数然后跳到这个二次曲面的最低点。与梯度下降只用梯度信息平面拟合相比牛顿法考虑了曲率信息二次曲面拟合因此能做出更明智的决策。考虑之前的例子f(x,y)x²2y²Hessian矩阵是[[2,0],[0,4]]恒定且正定。从(1,1)开始梯度是[2,4]H⁻¹[[0.5,0],[0,0.25]]因此更新步长为-[0.5,0;0,0.25][2,4][-1,-1]一步就跳到了最优点(0,0)3.3 实际应用中的挑战虽然牛顿法理论性质很好但实际应用中面临几个难题Hessian矩阵计算代价高特别是高维问题Hessian可能不正定导致算法失效存储和求逆Hessian矩阵内存消耗大# 牛顿法Python实现示例 def newton_method(f, grad, hess, x0, tol1e-6, max_iter100): x x0 for _ in range(max_iter): g grad(x) H hess(x) delta np.linalg.solve(H, -g) x delta if np.linalg.norm(delta) tol: break return x在金融风控模型的开发中我曾尝试使用牛顿法优化逻辑回归参数。当特征维度达到1000以上时Hessian矩阵的存储就需要近4GB内存求逆操作更是耗时数秒最终不得不改用拟牛顿法。4. 拟牛顿法平衡的艺术4.1 核心思想与发展历程拟牛顿法的聪明之处在于既然计算和存储完整的Hessian矩阵代价太高那为什么不构建一个近似呢而且我们不需要Hessian本身只需要Hessian与梯度乘积的信息。拟牛顿法通过迭代更新一个Hessian近似矩阵Bₖ或其逆Hₖ满足割线方程 ∇f(xₖ₊₁) - ∇f(xₖ) ≈ Bₖ₊₁(xₖ₊₁ - xₖ)这个方程要求近似Hessian矩阵Bₖ₊₁能够正确反映梯度变化与自变量变化之间的关系。最早的DFP方法由Davidon在1956年提出后来发展出更稳定的BFGS方法。4.2 BFGS算法详解BFGS是目前最流行的拟牛顿法之一其更新公式为 Bₖ₊₁ Bₖ (yₖyₖᵀ)/(yₖᵀsₖ) - (BₖsₖsₖᵀBₖ)/(sₖᵀBₖsₖ) 其中sₖ xₖ₊₁ - xₖyₖ ∇f(xₖ₊₁) - ∇f(xₖ)。实际实现时我们通常直接维护Hₖ Bₖ⁻¹避免每次迭代都要求解线性方程组def bfgs(f, grad, x0, max_iter100, tol1e-6): n len(x0) H np.eye(n) # 初始近似Hessian逆 x x0 g grad(x) for _ in range(max_iter): p -H.dot(g) # 搜索方向 # 线搜索确定步长 alpha line_search(f, grad, x, p) s alpha * p x_new x s g_new grad(x_new) y g_new - g # BFGS更新H rho 1.0 / (y.T.dot(s)) I np.eye(n) H (I - rho * np.outer(s, y)).dot(H).dot(I - rho * np.outer(y, s)) rho * np.outer(s, s) x, g x_new, g_new if np.linalg.norm(s) tol: break return x4.3 L-BFGS内存受限场景的解决方案对于超高维问题即使是存储Hₖ也可能不可行。L-BFGSLimited-memory BFGS只保存最近的m次{sₖ,yₖ}对通过递归计算矩阵-向量乘积将内存需求从O(n²)降到O(mn)。在推荐系统开发中面对百万维的特征空间我们采用了L-BFGS算法。设置m20在保持较好收敛速度的同时内存使用仅为完整BFGS的1/1000。5. 三大算法对比与选型指南5.1 理论性质对比特性梯度下降牛顿法拟牛顿法收敛速度线性二次超线性迭代成本O(n)O(n³)O(n²)内存需求O(n)O(n²)O(n²)需要二阶信息否是间接近似5.2 实际应用场景梯度下降族深度学习、大规模机器学习n10⁶牛顿法中小规模凸优化问题n10³、精确求解拟牛顿法中等规模问题10³n10⁵、需要快速收敛的场景在计算机视觉项目中我们针对不同模块采用了不同优化器ResNet训练使用Adam梯度下降变种而相机位姿优化则使用L-BFGS取得了最佳的整体效果。5.3 调参经验分享学习率选择梯度下降可以从η0.01开始尝试牛顿法通常使用固定步长1停止准则梯度范数1e-6或相对函数值变化1e-8拟牛顿法初始化H₀通常取为单位矩阵或对角矩阵L-BFGS的内存参数m通常在5-20之间越大收敛越快但内存消耗也越大遇到非凸问题时梯度下降通常更鲁棒而对于严格凸问题牛顿类方法往往能发挥更大优势。在实践中最保险的做法是先用梯度下降法快速得到一个不错的解再换用拟牛顿法进行精细优化。