1. 半正定矩阵的基本概念半正定矩阵Positive Semi-Definite Matrix简称PSD矩阵是线性代数中一类特殊的对称矩阵。这类矩阵在优化问题、机器学习、信号处理等领域有着广泛的应用。简单来说一个实对称矩阵A如果满足对于所有非零实向量x都有xᵀAx ≥ 0那么这个矩阵就是半正定的。理解这个概念最直观的方式是从二次型的角度出发。考虑二次型Q(x)xᵀAx如果这个二次型对所有x都输出非负值那么A就是半正定的。这相当于说这个二次型描述的曲面在任何方向都不会下凹到负值区域。2. 半正定矩阵的判定方法2.1 特征值判定法判断一个矩阵是否半正定最直接的方法是检查其特征值。对于一个n×n的实对称矩阵A以下条件等价A是半正定的A的所有特征值都是非负的存在实矩阵B使得ABᵀB例如矩阵[[2,-1],[-1,2]]的特征值是1和3都是正数因此它是正定矩阵也是半正定的特例。2.2 主子式判定法另一种实用的判定方法是检查所有主子式矩阵的所有顺序主子式都非负注意这与正定矩阵的区别正定要求顺序主子式都严格大于0对于2×2矩阵[[a,b],[b,c]]需要满足a ≥ 0c ≥ 0ac-b² ≥ 03. 半正定矩阵的性质半正定矩阵具有许多重要的数学性质可加性如果A和B都是半正定的那么AB也是半正定的乘积性质对于半正定矩阵A和任意矩阵BBᵀAB也是半正定的对角优势半正定矩阵的对角元素都是非负的谱分解A可以表示为AQΛQᵀ其中Q是正交矩阵Λ是对角矩阵元素为特征值特别值得注意的是半正定矩阵的集合构成一个凸锥。这意味着如果A和B是半正定的那么对于任何非负实数α和βαAβB也是半正定的。4. 半正定矩阵的应用场景4.1 协方差矩阵在统计学中任何随机向量的协方差矩阵都是半正定的。这是因为方差本质上就是非负的量。例如对于随机变量X和Y它们的协方差矩阵Σ满足 vᵀΣv Var(v₁X v₂Y) ≥ 0 对于任何v[v₁,v₂]ᵀ4.2 核函数机器学习中的核方法依赖于半正定核函数。Mercer定理告诉我们一个连续对称函数k(x,y)是正定核函数的充要条件是对于任何有限点集对应的Gram矩阵都是半正定的。4.3 凸优化在半定规划SDP问题中半正定性约束是核心组成部分。许多实际问题可以表述为在满足某些矩阵半正定约束的条件下优化目标函数。5. 半正定矩阵与正定矩阵的区别虽然正定矩阵一定是半正定的但两者有重要区别正定矩阵要求xᵀAx 0对所有非零x成立而半正定允许等于0的情况正定矩阵可逆而半正定矩阵可能是奇异的正定矩阵的特征值都严格大于0半正定允许特征值为0例如矩阵[[1,0],[0,0]]是半正定的但不是正定的因为它有零特征值且存在非零向量x[0,1]ᵀ使得xᵀAx0。6. 半正定矩阵的计算技巧6.1 近似半正定矩阵在实际计算中有时会遇到理论上应该是半正定但数值计算导致微小负特征值的情况。常见的处理方法是特征值修正将负特征值设为0然后重构矩阵添加小量A εI其中ε是足够小的正数6.2 矩阵平方根对于半正定矩阵A可以计算其平方根矩阵A^{1/2}满足A A^{1/2}A^{1/2}。这在许多统计和机器学习算法中非常有用。计算平方根矩阵的步骤对A进行谱分解A QΛQᵀ计算Λ^{1/2}对角元素取平方根A^{1/2} QΛ^{1/2}Qᵀ7. 半正定矩阵的几何解释从几何角度看半正定矩阵定义的二次型对应着一个不会向下凹陷的曲面。具体来说在二维情况下二次型zax²2bxycy²对应的曲面是一个抛物面半正定条件保证这个抛物面在任何方向上都不会向下开口当矩阵是半正定但非正定时曲面在某些方向上是平坦的零曲率这种几何直观有助于理解为什么半正定矩阵在优化问题中如此重要——它们保证了问题的凸性。8. 半正定矩阵的构造方法在实际应用中经常需要构造半正定矩阵。以下是几种常见方法8.1 Gram矩阵法给定一组向量v₁,...,vₙGram矩阵G定义为G_{ij} v_i·v_j。这样的矩阵总是半正定的因为 xᵀGx ∑_{i,j}x_i x_j (v_i·v_j) ||∑x_i v_i||² ≥ 08.2 协方差估计从数据矩阵X每行一个样本可以估计协方差矩阵 S 1/(n-1) XᵀX 这个S自动是半正定的。8.3 拉普拉斯矩阵在图论中图的拉普拉斯矩阵LD-AD是度矩阵A是邻接矩阵是半正定的。这在谱聚类等算法中有重要应用。9. 半正定矩阵的数值计算注意事项在实际数值计算中处理半正定矩阵时需要注意浮点误差可能导致理论上半正定的矩阵计算出微小负特征值。常见的处理策略是设置一个容忍阈值如1e-8将绝对值小于阈值的负特征值视为0。计算矩阵的Cholesky分解时ALLᵀ如果矩阵接近半正定但不满秩可能需要使用修正的Cholesky分解算法。当需要计算半正定矩阵的逆时对于不满秩的情况可以考虑伪逆Moore-Penrose逆或者添加正则化项A λI。10. 半正定矩阵在机器学习中的应用实例10.1 支持向量机SVMSVM的核技巧依赖于半正定核函数。常用的高斯核k(x,y)exp(-γ||x-y||²)对应的Gram矩阵总是半正定的。10.2 马氏距离马氏距离d(x,y)√[(x-y)ᵀΣ⁻¹(x-y)]中的Σ⁻¹要求Σ是正定的或半正定时限制在非零特征值对应的子空间。10.3 矩阵补全在推荐系统等应用中矩阵补全问题经常要求补全后的矩阵是低秩半正定的这对应于寻找数据中的潜在正定结构。