目录摘要Abstract1. 梯度下降完整优化理论1.1 梯度下降核心迭代逻辑1.2 三类梯度下降算法特性对比1.3 学习率选择与收敛约束条件2. 偏差与方差泛化误差理论2.1 泛化误差三层分解理论2.2 欠拟合、过拟合与 Bias-Variance 对应关系3. 正则化完整体系L2 岭回归 L1 Lasso3.1 正则化通用损失框架3.2 L2 岭回归原理与闭式解作用3.3 L1 Lasso 稀疏参数的底层逻辑3.4 L1 与 L2 正则综合对比总结摘要本周继续深入学习李宏毅机器学习线性回归后半段全部内容在上周最小二乘解析解的基础上补充迭代式优化算法梯度下降以及引入偏差、方差泛化误差分解从底层解释欠拟合、过拟合的形成机制学习正则化技术分别掌握 L2 岭回归、L1 Lasso 两种正则方案。AbstractThis week, we will continue an in-depth study of the latter part of Li Hongyis machine learning linear regression course. Building on last weeks discussion of the analytical solution of least squares, we will supplement it with iterative optimization algorithms such as gradient descent and introduce the decomposition of generalization error into bias and variance, thereby explaining the underlying mechanisms of underfitting and overfitting. Additionally, we will study regularization techniques, mastering both L2 Ridge regression and L1 Lasso regularization approaches.1. 梯度下降完整优化理论1.1 梯度下降核心迭代逻辑梯度下降是适用于所有可导损失函数的通用优化算法核心思想损失函数沿负梯度方向参数更新逐步向全局极小点靠近标准参数更新公式其中 η 代表学习率控制每一轮参数更新的步长∇wL 为损失函数对权重的梯度代表损失上升最快的方向取负号即为损失下降方向。结合上周线性回归 MSE 损失推导出梯度表达式由此得到梯度下降迭代更新规则解决了高维特征下矩阵求逆计算成本过高的问题。1.2 三类梯度下降算法特性对比课程根据单次迭代使用的样本数量划分三种梯度下降实现方式本周整理各自优缺点与落地场景批量梯度下降BGD使用全部 N 个训练样本计算全局梯度梯度方向稳定无噪声最终可以精准收敛至全局最优缺点是海量数据场景下单次迭代计算量大训练速度极慢。随机梯度下降SGD每次随机选取 1 个样本计算梯度并更新参数单轮迭代计算开销极小训练速度最快但单样本梯度存在大量噪声收敛过程持续震荡无法精准落在最优极小点。小批量梯度下降Mini-batch GD折中方案每次选取固定数量batch size的样本计算平均梯度兼顾 SGD 的计算速度与 BGD 的收敛平稳性是工业深度学习、传统机器学习任务的主流选择。1.3 学习率选择与收敛约束条件本周学习了学习率 η 对训练效果的关键影响学习率过大参数更新步长超出收敛区间损失函数持续震荡甚至发散模型无法收敛学习率过小参数更新幅度微弱需要数万轮迭代才能逼近最优解训练耗时大幅增加。针对凸二次损失线性回归 MSE 损失课程给出梯度下降收敛约束学习率必须小于矩阵 XTX 最大特征值的倒数 2 倍。同时简单了解后续课程会讲解的学习率衰减、自适应学习率等调优方案为后续优化器学习铺垫基础。2. 偏差与方差泛化误差理论2.1 泛化误差三层分解理论课程提出核心理论模型在未知测试集上的整体泛化误差可以严格拆分为三部分总泛化误差 Bias2 (偏差的平方) Variance (方差) Noise (不可消除噪声)偏差( Bias)模型本身的拟合能力缺陷代表模型期望预测值与真实数据规律之间的差距方差 (Variance)模型受训练集随机波动的影响程度换一组训练数据模型参数、预测结果的波动幅度噪声 (Noise)数据本身自带的随机误差不受模型影响属于理论上无法消除的误差。2.2 欠拟合、过拟合与 Bias-Variance 对应关系结合课程案例搭建误差与拟合状态的对应逻辑欠拟合高偏差、低方差模型复杂度不足学习不到数据底层规律在训练集、测试集上损失都很高例如仅用一次线性模型拟合二次分布数据。解决方式提升模型复杂度、增加特征数量。过拟合低偏差、高方差模型复杂度过高完美拟合训练集训练损失极低但极易受训练集噪声干扰更换数据集后预测结果波动巨大测试损失很高。解决方式扩充数据集、引入正则化降低模型有效复杂度。最优平衡点模型复杂度适中偏差与方差同时处于较低水平此时泛化误差达到最小值是我们训练模型的目标。3. 正则化完整体系L2 岭回归 L1 Lasso3.1 正则化通用损失框架正则化是缓解过拟合的核心手段核心思路在原始经验损失基础上增加参数惩罚项约束权重的幅值间接降低模型有效复杂度通用损失公式λ 0 为正则强度超参数λ 越大对大权重的惩罚越强λ 0 等价于无正则普通最小二乘回归Ω(w) 为惩罚函数分为 L1、L2 两种主流形式。3.2 L2 岭回归原理与闭式解作用L2 正则惩罚项为参数二范数平方对应的模型称为岭回归。数学优势损失函数全程连续可导能够推导出简洁的矩阵闭式最优解核心解决上周遗留问题当特征存在多重共线性时XTX 矩阵奇异不可逆岭回归通过增加 NλI 单位矩阵扰动使矩阵严格正定、一定存在逆矩阵参数效果仅会均匀缩小所有权重的数值无法将参数压缩至 0不具备自动特征筛选功能。3.3 L1 Lasso 稀疏参数的底层逻辑L1 正则惩罚项为参数一范数对应模型称为 Lasso。绝对值函数在 wj 0 处不可导课程通过次梯度理论解释其稀疏特性当无正则时最优权重的绝对值小于正则系数 λL1 正则会直接将该参数强制置 0。优势训练完成后大量参数为 0生成稀疏权重矩阵可自动筛选关键特征适合超高维特征如文本、基因数据场景缺陷无简洁矩阵解析解只能依靠梯度类迭代算法训练。3.4 L1 与 L2 正则综合对比对比维度L2 岭回归L1 Lasso惩罚形式参数平方和参数绝对值和可导性全程光滑可导参数为 0 处不可导解析解存在闭式矩阵解无简单解析解参数效果所有权重均匀收缩无稀疏性小幅权重置零生成稀疏模型适用场景普通回归、解决多重共线性高维数据、需要自动特征筛选总结本周完成线性回归模块全部拓展内容打通了 “模型求解 - 误差分析 - 泛化优化” 完整学习链路核心学习收获分为 4 点梯度下降是机器学习通用迭代优化框架BGD、SGD、Mini-batch 梯度下降各有适配场景学习率是影响收敛效果的核心超参数泛化误差可拆分为偏差、方差、噪声三层欠拟合与过拟合本质是模型复杂度和数据分布不匹配正则化通过惩罚参数幅值缓解过拟合L2 岭回归侧重稳定求解L1 Lasso 侧重特征稀疏筛选解析解适合小维度数据集梯度下降适配大数据、高维场景二者互为补充。