线性代数|机器学习-P19SVDLUQR分解自由参数计算和鞍点

1. 矩阵A分解

对于矩阵A来说，我们有常见矩阵分解：
$$\begin{array}{c}A=LU,A=QR,A=X\Lambda X^{-1},A=Q\Lambda Q^T;A=QS,A=SVD\end{array}$$

1.1 $A=LU$

我们矩阵A可以进行LU分解，那么L表示下三角矩阵，U表示上三角矩阵，对于L上三角矩阵来说；举例如下：
$$\begin{array}{c}A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ & & \\ a_{21}& a_{22}& a_{23}\\ & & \\ a_{31}& a_{32}& a_{33}\end{array}\right]=\left[\begin{array}{ccc}{l}_{11}& 0& 0\\ & & \\ l_{21}& l_{22}& 0\\ & & \\ l_{31}& l_{32}& l_{33}\end{array}\right]\left[\begin{array}{ccc}{u}_{11}& u_{12}& u_{13}\\ & & \\ 0& u_{22}& u_{23}\\ & & \\ 0& 0& u_{33}\end{array}\right]\end{array}$$

• L的第一行只有一个数，$l_{11}$非零，自由变量数为0；
• L的第二行有两个数$l_{21},l_{22}$，其中$l_{21}$因为$l_{11}$确定后，自由变量数只剩$l_{22}$,1个
• 同理，第 i 行 自由变量数为 $i-1$;
• 所以L一共有
  $$\begin{array}{c}{L}_n=0+1+2+\cdots +n-1=\frac{1}{2}n(n-1)\end{array}$$
• 对于U 来说，第1行有自由变量三个，第二行有两个，则可得：
  $$\begin{array}{c}{U}_n=n+(n-1)\cdots +1=\frac{1}{2}n(n+1)\end{array}$$
• 综上所述，对于A=LU分解来说，自由变量总数为
  $$\begin{array}{c}{A}_n=L_n+U_n=\frac{1}{2}n(n-1)+\frac{1}{2}n(n+1)=n^2\end{array}$$

1.2 $A=QR$

当我们对矩阵A进行QR分解后，Q是一个单位正交矩阵，R是一个上三角矩阵；
我们知道Q是有n个单位正交向量$q_1,q_2,\cdots ,q_n$组成，每个$q_i$有n个变量；

• 第一个向量$q_1$约束条件只有单位长度1，所以变量数为 $n-1$
• 第一个向量$q_2$约束条件单位长度1和与$q_1$正交，共两个约束条件，所以变量数为 $n-2$
• 同理，第 i 个向量 $q_i$ 的约束条件数为 $i$,自由变量数为 $n-i$
• 那么Q变量总共的自由变量是
  Q n = ( n − 1 ) + ( n − 2 ) ⋯ + 1 = 1 2 n ( n − 1 ) \begin{equation} Q_n=(n-1)+(n-2)\cdots+1=\frac{1}{2}n(n-1) \end{equation}