目录一、学习摘要二、基础概念2.1 机器学习三要素2.2 期望风险与经验风险最小化2.3 任务划分三、核心推导3.1 线性回归数学模型3.2 MSE 损失函数 凸性完整证明3.2.1损失函数表达式3.2.2凸性严格证明3.3 最小二乘解析解完整矩阵求导3.3.1.对 ​编辑求梯度并令梯度等于零向量凸函数极值条件3.3.2 . 代入两条核心矩阵求导公式3.3.3.合并梯度等式3.3.4.求解最优权重四、难点分析4.1 解析解的理论局限性4.2 凸损失的现实意义4.3 多重共线性理论后果一、学习摘要学习内容本周学习了李宏毅老师的机器学习课程第 1 讲《机器学习基础介绍》和 第 2 讲《Regression 线性回归》本周公式推导MSE 均方误差损失函数的凸性完整证明线性回归最小二乘解析解矩阵形式完整求导推导。学习目标建立标准化机器学习三要素数学定义从矩阵、凸优化角度理解线性回归最优解来源二、基础概念2.1 机器学习三要素任意机器学习任务由三组数学对象构成模型集 H所有候选预测函数构成的集合 ( h(x) )损失函数量化预测值与真实标签的偏差优化算法寻找使整体损失最小的最优模型。2.2 期望风险与经验风险最小化真实全局损失为数据分布下的期望损失真实数据分布P(data) 未知用训练集 N 个样本均值近似得到经验损失机器学习核心优化目标2.3 任务划分回归任务输出 y属于R的连续实数分类任务输出 y属于0到C中离散有限集合。本周仅研究回归任务以线性回归为基础模型。三、核心推导3.1 线性回归数学模型单样本原始模型分开权重与偏置其中 w特征权重 b 偏置项为简化矩阵运算构造增广向量模型简化为无偏置统一形式全部N个训练集写成矩阵形式其中设计矩阵第 i 行是全部样本预测值向量真实标签向量。3.2 MSE 损失函数 凸性完整证明3.2.1损失函数表达式单样本平方损失整体经验均方误差损失展开二范数3.2.2凸性严格证明凸二次函数判定定理为凸函数A半正定。观察损失函数二次项矩阵对任意非零向量 v满足半正定定义因此二次项是凸函数为线性函数凸 凹常数项为常数凸函数有限个凸函数相加仍为凸函数因此是凸损失函数。推论凸函数不存在局部最优≠全局最优梯度为 0 的点一定是全局最小点。3.3 最小二乘解析解完整矩阵求导优化目标系数 1/N 不改变最优权重可直接省略。3.3.1.对求梯度并令梯度等于零向量凸函数极值条件3.3.2 . 代入两条核心矩阵求导公式是对称矩阵因此第一项梯度简化为第二项梯度常数项梯度为 0。3.3.3.合并梯度等式两边消去系数 23.3.4.求解最优权重若可逆特征线性无关、无多重共线性等式两侧左乘逆矩阵得到最小二乘闭式解补充称为矩阵 X的摩尔-彭若斯伪逆当特征存在多重共线性时奇异不可逆无唯一解析解需引入正则化。四、难点分析4.1 解析解的理论局限性矩阵求逆时间复杂度为 O(d^3) d 为特征维度高维大数据场景下计算成本极高因此实际工程采用梯度下降迭代求解两种方法无优劣仅适用场景不同。4.2 凸损失的现实意义线性回归训练不会陷入局部极小无论初始权重如何梯度下降最终都会收敛至全局最优这是线性模型相比非线性网络的核心理论优势。4.3 多重共线性理论后果若两个特征线性相关行列式为 0不可逆此时有无穷多组权重均可达到相同最小损失模型参数无唯一解释性。