1. 从“一笔账”说起为什么矩阵的迹如此重要在工程计算和理论推导里我们经常要和矩阵打交道。矩阵加法、乘法、特征值这些概念大家都很熟悉但有一个看起来不起眼的运算——矩阵的迹却常常扮演着“幕后功臣”的角色。简单说一个方阵的迹就是它主对角线上所有元素的和。比如对于一个3x3的矩阵迹就是左上角到右下角那三个数加起来。这个定义简单到让人怀疑它的用处但实际情况恰恰相反。我第一次深刻体会到迹的威力是在处理一个机器学习模型的损失函数时。当时需要优化一个参数矩阵直接对矩阵求导公式复杂到让人头皮发麻。但当我发现目标函数可以巧妙地用迹来表示后整个求导过程瞬间被简化成了几条清晰的规则几行代码就搞定了原本需要大量张量运算的步骤。那一刻我意识到迹不是一个简单的求和而是一把将矩阵运算“降维”到标量运算的钥匙。它能把复杂的矩阵关系转换成我们更擅长处理的数字运算。尤其是在处理协方差矩阵、海森矩阵、以及各种涉及二次型的优化问题时迹的公式就像一套精心设计的“会计法则”能帮我们把一笔笔复杂的“矩阵账”算得清清楚楚。无论是理论推导中的化简还是实际编程中的计算优化掌握迹的常用公式都至关重要。这篇文章我就结合自己踩过的坑和总结的经验把这些最常用、最核心的迹公式给你掰开揉碎了讲明白让你下次再遇到时能直接拿来就用。2. 迹的基础定义、性质与核心直觉在深入那些让人眼花缭乱的公式之前我们必须把基础打牢。矩阵的迹记作 tr(A)对于一个 n×n 的方阵 A其定义就是主对角线元素之和tr(A) Σᵢ₌₁ⁿ aᵢᵢ。这个定义看似平平无奇但它蕴含了几个最基础也最重要的性质这些性质是我们运用所有高级公式的基石。2.1 线性性质迹的“计算器”角色迹是一个线性算子。这意味着什么呢简单说它满足加法和数乘的分配律。对于任意同阶方阵 A 和 B以及任意标量 c我们有tr(A B) tr(A) tr(B)tr(cA) c * tr(A)这个性质太有用了。它保证了我们在处理线性组合的迹时可以像处理普通数字一样先把系数提出来再把迹加起来。在做理论推导时我们经常需要处理像 tr(αA βB) 这样的表达式线性性质让我们可以毫不犹豫地将其写为 α tr(A) β tr(A)极大地简化了步骤。2.2 循环置换不变性迹的“超级魔法”这是迹运算中最强大、最独特的性质没有之一。对于任意多个矩阵只要它们的乘积维度是匹配的能构成方阵那么迹在循环置换下保持不变。用公式表达就是 tr(ABC) tr(BCA) tr(CAB)注意这里的“循环”是关键。你不能随意交换顺序比如 tr(ABC) 一般不等于 tr(ACB)。这个性质为什么是“魔法”因为它允许我们在保持迹不变的前提下重新排列矩阵乘积的顺序。这个技巧在矩阵求导中简直是救命稻草。注意很多初学者在这里犯错误以为迹对任意置换都不变。一定要记住只能是“循环”置换就像把一串珠子首尾相连转动一样顺序不能乱。2.3 一个关键直觉迹是“提取”标量信息的工具理解迹的物理或几何意义能帮你更好地运用它。一个直观的理解是对于线性变换矩阵 A它的迹等于其所有特征值之和。特征值代表了变换在特征向量方向上的缩放倍数。所以迹在某种意义上是这个变换“总体缩放效应”的一个度量。在概率统计中协方差矩阵的迹等于所有随机变量的方差之和这代表了数据的总变异程度。建立这种直觉后当你看到一个问题涉及“总和”、“总量”时就可以下意识地想到是否可以用迹来简洁表达。3. 核心公式拆解一单矩阵与基础运算掌握了基础性质我们就可以开始构建公式工具箱了。这一部分我们先看单个矩阵以及迹与基础运算的关系这些公式相对直接但却是复杂推导的“砖瓦”。3.1 转置、幂与迹首先是一个显而易见的公式矩阵的迹等于其转置的迹。 tr(A) tr(Aᵀ) 这是因为转置操作只交换行列主对角线元素纹丝不动。这个公式虽然简单但在推导中经常用于改变矩阵的顺序形式。对于矩阵的幂情况也很简单tr(Aᵏ) 就是先计算矩阵的 k 次幂再求这个新矩阵的迹。这里没有更简单的化简公式除非矩阵有特殊的性质如幂等矩阵、对合矩阵等。但有一个重要的特例当 k2 时tr(AAᵀ) 有着特殊的意义它等于矩阵所有元素平方和也称为矩阵的 Frobenius 范数的平方。这在优化问题中常作为正则化项出现。3.2 迹与特征值、行列式的联系这是连接迹与矩阵其他核心概念的桥梁。特征值之和tr(A) Σ λᵢ其中 λᵢ 是矩阵 A 的特征值。这个公式将矩阵的全局标量特征迹与其内在的结构特征特征值直接联系起来。它是证明许多更复杂公式的起点。特征值之积虽然迹是特征值和但行列式是特征值之积det(A) Π λᵢ。迹和行列式是矩阵的两个最重要的标量不变量。在一些问题中特别是涉及矩阵指数或对数时tr(A) 和 det(A) 会同时出现。3.3 一个实战中的“坑”数值计算中的迹在编程计算时特别是使用 Python 的 NumPy 库直接调用np.trace()通常很安全。但有一个隐蔽的坑当矩阵非常大或者主对角线元素有正有负且绝对值很大时直接相加可能会导致数值精度损失或上溢/下溢。一个更稳健的做法是使用np.sum(np.diag(A))吗其实不然np.trace的实现本身就是优化过的。真正需要注意的是如果你的计算流程中先对矩阵做了其他运算比如求逆、分解这些前置运算的数值误差会累积并影响到迹。我的经验是对于病态矩阵先考察其条件数如果条件数很大那么计算出的迹的可靠性就需要打问号此时可能需要考虑使用更高精度的数据类型如np.float128或调整算法。4. 核心公式拆解二双矩阵乘积的迹单个矩阵的迹只是热身当两个矩阵相乘时迹的公式开始展现出真正的威力。这部分内容是应用最频繁的核心。4.1 基础乘积公式及其证明对于两个矩阵 A (m×n) 和 B (n×m)它们的乘积 AB 是一个 m×m 的方阵BA 是一个 n×n 的方阵。一个关键且优美的结论是 tr(AB) tr(BA)这个公式成立即使 A 和 B 本身不是方阵它的证明是理解迹运算的绝佳练习。我们写出迹的定义 tr(AB) Σᵢ (AB)ᵢᵢ Σᵢ Σⱼ aᵢⱼ bⱼᵢ tr(BA) Σⱼ (BA)ⱼⱼ Σⱼ Σᵢ bⱼᵢ aᵢⱼ仔细观察两个求和式它们求和的都是同样的项 aᵢⱼ bⱼᵢ只是求和顺序交换了。在求和号可交换的前提下元素是有限且求和收敛两者必然相等。这个公式是循环置换不变性在双矩阵情况下的直接体现。4.2 内积视角与Frobenius内积公式 tr(ABᵀ) 具有极其重要的几何意义。我们将 A 和 B 视为两个大小相同的矩阵或向量化后的长向量那么 tr(ABᵀ) 就等于这两个矩阵对应位置元素相乘再求和。这正是矩阵空间上的标准内积也称为 Frobenius 内积。 A, B_F tr(ABᵀ)这个内积诱导出的范数就是前面提到的 Frobenius 范数||A||_F √tr(AAᵀ)。在机器学习中许多损失函数如最小二乘和正则化项如L2正则都可以用 Frobenius 内积和范数优雅地表示。例如矩阵分解的误差项常常是 ||X - UVᵀ||_F²这展开后就是 tr((X-UVᵀ)(X-UVᵀ)ᵀ)为后续的求导优化铺平了道路。4.3 实战应用二次型的迹表示二次型 xᵀAx 是另一个常客其中 A 是 n×n 矩阵x 是 n 维列向量。我们可以用迹将它重写 xᵀAx tr(xᵀAx)注意xᵀAx 是一个标量而标量可以看作 1×1 的矩阵其迹就是它本身。这个技巧的妙处在于利用迹的循环置换性质我们可以将其变为 tr(xᵀAx) tr(Axxᵀ)这个变换将依赖于向量 x 的二次型转化为了一个矩阵 A 与一个秩为1的矩阵 xxᵀ 的迹。在概率论中如果 x 是随机向量那么 E[xxᵀ] 就是协方差矩阵加上均值项。在优化问题中对 x 求 xᵀAx 的导数如果直接求比较困难但将其写成 tr(Axxᵀ) 后就可以利用下一节将要讲的矩阵求导公式变得异常简单。这是我强烈推荐掌握的一个转换技巧。5. 核心公式拆解三多矩阵乘积与求导法则当问题涉及到三个及以上矩阵的乘积或者需要对迹表达式进行求导时公式的复杂度上升但其威力和实用性也呈指数级增长。5.1 多矩阵乘积的循环置换对于三个矩阵我们有 tr(ABC) tr(BCA) tr(CAB)。对于更多矩阵如 tr(ABCD)同样可以进行循环置换tr(ABCD) tr(BCDA) tr(CDAB) tr(DABC)。这个性质在证明和化简中几乎无处不在。它的核心用途是将我们感兴趣的矩阵移动到乘积链的末尾或开头。为什么这么做因为很多其他运算比如接下来要讲的求导对乘积链末尾的矩阵形式更友好。5.2 标量函数对矩阵变量的求导这是迹公式的“高光”应用场景。假设我们有一个标量函数 f(X)它被表示为矩阵 X 的迹的形式例如 f(X) tr(AXᵀB)。我们需要求 f 对矩阵 X 的导数 ∂f/∂X。如果没有迹的工具这将涉及繁琐的张量运算。但利用迹的微分和求导公式过程可以高度机械化且简洁。首先记住两个最基础的微分公式d tr(X) tr(dX)d (XY) (dX)Y X(dY)然后利用迹的线性性和循环置换我们可以推导出一系列求导公式。这里给出几个最常用的“食谱式”结论你可以直接套用∂ tr(AX) / ∂X Aᵀ推导思路d tr(AX) tr(A dX)。为了将其与 tr((∂f/∂X)ᵀ dX) 的标准形式匹配我们需要把 A 移到 dX 后面。因为 tr(A dX) tr(dX A)这里A是常数矩阵可以自由循环不这里需要小心。实际上对于标量 tr(AX)其微分就是 tr(A dX)这已经是对 dX 的线性形式了。根据矩阵导数的定义导数就是 Aᵀ。一个更稳妥的记忆方法是对标量 tr(AX)其对 X 的导数就是把 A 转置一下。∂ tr(XᵀA) / ∂X A推导思路d tr(XᵀA) tr(d(Xᵀ) A) tr((dX)ᵀ A)。再利用 tr(BᵀC) tr(CᵀB) 的性质有 tr((dX)ᵀ A) tr(Aᵀ dX)。所以导数是 A。∂ tr(XᵀA X) / ∂X (A Aᵀ)X推导思路这是二次型求导。d tr(XᵀA X) tr(d(Xᵀ) A X XᵀA dX) tr((dX)ᵀ A X XᵀA dX)。对于第一项 tr((dX)ᵀ A X)利用迹的转置性质它等于 tr(XᵀAᵀ dX)。所以总和为 tr(XᵀAᵀ dX XᵀA dX) tr(Xᵀ(AᵀA) dX)。因此导数为 (A Aᵀ)X。特别地如果 A 是对称矩阵A Aᵀ那么导数简化为 2AX。这个公式在最小二乘问题中至关重要。∂ tr(A X B) / ∂X Aᵀ Bᵀ推导思路d tr(A X B) tr(A dX B)。利用循环置换tr(A dX B) tr(B A dX)。所以导数是 (BA)ᵀ Aᵀ Bᵀ。5.3 一个完整的求导实例线性回归的矩阵解让我们用一个经典例子串联这些公式。线性回归的损失函数是 L(w) ||y - Xw||²其中 y 是向量X 是矩阵w 是待求参数向量。我们的目标是求 ∂L/∂w。 首先将损失函数写成迹的形式因为范数平方可以转化为迹 L(w) (y - Xw)ᵀ(y - Xw) tr( (y - Xw)ᵀ(y - Xw) ) 展开L(w) tr(yᵀy - yᵀXw - wᵀXᵀy wᵀXᵀXw) 由于 yᵀy 与 w 无关yᵀXw 是标量等于 wᵀXᵀy所以 L(w) const - 2 tr(yᵀXw) tr(wᵀXᵀXw) 现在对 w 求导∂ tr(yᵀXw) / ∂w利用公式 ∂ tr(A w) / ∂w Aᵀ这里 A yᵀX是行向量。所以导数为 (yᵀX)ᵀ Xᵀy。∂ tr(wᵀ (XᵀX) w) / ∂w利用二次型求导公式其中 A XᵀX 是对称矩阵导数为 2 (XᵀX) w。 因此∂L/∂w -2 Xᵀy 2 (XᵀX) w。 令导数为零即得到经典的正规方程XᵀX w Xᵀy。 整个推导过程清晰、严谨完全避免了分量计算的繁琐这就是迹求导公式的威力。6. 核心公式拆解四进阶技巧与特殊矩阵在掌握了基本公式后一些进阶技巧和特殊矩阵下的性质能让你在解决复杂问题时更加得心应手。6.1 Kronecker积与向量化算子下的迹当问题涉及矩阵的向量化vec操作或Kronecker积时迹公式有相应的变换。一个非常重要的恒等式是 tr(AᵀB) (vec(A))ᵀ vec(B) 这个公式直接将矩阵的内积转换为了它们向量化后的标准向量内积。在推导涉及矩阵微分和向量化的复杂公式时这个等式是一个关键的桥梁。另一个有用的公式是关于Kronecker积的迹tr(A ⊗ B) tr(A) * tr(B)。但请注意这个公式要求 A⊗B 是方阵即 A 和 B 本身是方阵。这个性质在某些随机过程和统计模型中会用到。6.2 分块矩阵的迹对于分块矩阵求迹有一个非常直观的性质整个矩阵的迹等于其主对角线上所有子块矩阵的迹之和。假设有一个分块矩阵 M [ A, B; C, D ]其中 A, D 是方阵。 那么 tr(M) tr(A) tr(D)。非主对角线上的子块 B 和 C 对迹没有贡献。这个性质在处理大规模稀疏矩阵或者具有特殊块结构的矩阵时可以大大简化计算。6.3 特殊矩阵的迹性质一些特殊矩阵的迹有更简洁的结论幂等矩阵A² A幂等矩阵的特征值只能是0或1。因此tr(A) rank(A)即迹等于矩阵的秩。这个性质在统计学中用于计算投影矩阵的自由度。对合矩阵A² I特征值为 ±1。其迹 tr(A) 是特征值1的个数减去特征值-1的个数是一个整数。零迹矩阵所有特征值之和为零。这类矩阵在李代数等领域中非常常见。正交/酉矩阵虽然迹没有固定值但由于特征值的模长为1其迹的绝对值不超过矩阵的阶数 n。理解这些性质能帮助你在看到特定矩阵时快速对其迹的范围或性质做出判断。7. 实战避坑指南公式应用中的常见误区理论公式很优美但实际应用时一不小心就会踩坑。这里我总结几个最常见的误区希望能帮你绕过去。7.1 误区一混淆“循环置换”与“任意交换”这是最经典的错误。我们强调过无数次 tr(ABC) tr(BCA)但 tr(ABC) ≠ tr(ACB) 除非矩阵特殊。我曾在推导一个通信系统的容量公式时因为下意识地交换了两个非对称矩阵的顺序导致一整天的推导结果都是错的。排查了很久才发现是这个基本错误。黄金法则当你不确定时就用一个简单的 2x2 随机矩阵例子验算一下。在Python里np.random.randn(2,2)生成两个矩阵 A, B, C计算一下 tr(ABC), tr(BCA), tr(ACB)立刻就能看到差异。7.2 误区二忽略矩阵的维度兼容性迹运算要求内部的矩阵乘积最终是一个方阵。例如tr(AXB) 有意义仅当 A 是 m×n, X 是 n×p, B 是 p×m这样 AXB 才是 m×m 的方阵。在纸上推导时很多人会忽略维度写出像 tr(XᵀA) 这样的表达式并认为它对 X 的导数是 A。但仔细看如果 X 是 n×1A 是 n×n那么 XᵀA 是 1×n这不是方阵不能直接求迹。正确的表达式应该是 tr(XᵀA X) 或 tr(A X Xᵀ) 等。避坑方法在应用任何迹公式前先用小字在草稿纸上标出每个矩阵的维度 (m×n)确保乘法链的维度最终闭合为方阵 (k×k)。7.3 误区三矩阵求导后忘记转置这是矩阵求导中另一个高频错误。根据我们常用的分母布局Denominator-layout或分子布局Numerator-layout导数的形式会有转置的差异。我个人的经验是固定使用一种布局比如分母布局并熟记几个核心公式。例如在分母布局下∂ (aᵀXb) / ∂X abᵀ∂ tr(XᵀA) / ∂X A∂ tr(X A Xᵀ) / ∂X X (A Aᵀ)如果你从资料上看到一个求导结果最好用最基础的定义或者微分法自己快速推导一遍核对转置符号。一个实用的检查方法是导数 ∂f/∂X 的维度必须和变量 X 的维度完全一致。如果 f 是标量X 是 m×n 矩阵那么 ∂f/∂X 也必须是 m×n 矩阵。用这个维度法则可以快速发现转置错误。7.4 误区四在迭代计算中滥用迹的线性性在编写优化算法的循环时我们可能需要反复计算 tr(Aᵢ X)。由于迹是线性的有人会想当然地先计算所有 Aᵢ 的和 S Σ Aᵢ然后计算 tr(S X)认为这样更快。这只有在 X 固定不变时才等价。如果 X 在每次迭代中都会更新比如梯度下降那么 tr(Aᵢ Xₜ) 必须每次重新计算因为 Xₜ 变了。提前求和 S 在这里毫无意义。这个坑在随机优化算法中尤其要注意因为每次使用的 Aᵢ 可能是不同的数据子样本。8. 从公式到代码Python/Matlab实现与效率考量最后我们谈谈如何把这些漂亮的公式落地成高效的代码。理论上的优雅和计算上的高效有时需要权衡。8.1 核心计算的代码实现在Python的NumPy中计算迹非常简单import numpy as np A np.random.randn(100, 100) trace_A np.trace(A) # 最直接的方法对于 tr(AᵀB) 这种常见内积有几种计算方式A np.random.randn(50, 100) B np.random.randn(50, 100) # 方法1直接使用迹公式 trace1 np.trace(A.T B) # 方法2使用元素乘法和求和 (等价于Frobenius内积) trace2 np.sum(A * B) # 注意这里A*B是逐元素相乘要求A和B形状完全相同 # 方法3使用向量化点积 trace3 np.dot(A.ravel(), B.ravel()) # ravel()将矩阵展平为向量对于大型矩阵np.sum(A * B)通常是最高效的因为它避免了显式的矩阵乘法A.T B后者计算复杂度是 O(n³)而逐元素相乘再求和是 O(n²)。np.trace(A.T B)会先计算一个 100x100 的中间矩阵再取迹内存和计算开销都最大。8.2 复杂表达式计算的优化考虑计算 tr(A B C D)。最朴素的方法是np.trace(A B C D)。这会进行三次大型矩阵乘法产生两个巨大的中间矩阵效率很低。如果我们的最终目的只是这个迹可以利用迹的循环置换性质进行优化。例如如果 D 的维度很小比如 k×kk很小而 A 很大m×nm和n很大那么我们可以优先计算维度会缩小的乘积先计算 P B C D # 假设这能降低维度再计算 tr(A P) 或者更激进地利用 tr(A B C D) vec(Aᵀ)ᵀ (Dᵀ ⊗ B) vec(C) 这样的向量化公式如果维度合适可能将问题转化为更高效的向量-矩阵乘法。但这需要具体的维度分析。核心原则避免计算不必要的、庞大的中间全矩阵尽量让计算链中早出现维度缩减。8.3 自动微分框架下的迹在现代机器学习中我们越来越多地使用 TensorFlow 或 PyTorch 这样的自动微分框架。好消息是你完全不需要手动推导迹的求导公式。你只需要用代码自然地写出损失函数框架会自动计算梯度。import torch X torch.randn(10, 5, requires_gradTrue) A torch.randn(5, 10) B torch.randn(10, 10) loss torch.trace(A X B) # 定义损失函数为 tr(AXB) loss.backward() # 自动反向传播 print(X.grad) # 这里打印的梯度应该等于我们手动推导的 Aᵀ Bᵀ你可以用这个小例子来验证手动推导的求导公式是否正确。自动微分让我们从繁琐的求导中解放出来但理解背后的迹公式依然能帮助我们设计出更简洁、数值更稳定的损失函数形式并解释模型的行为。掌握矩阵迹的公式就像掌握了一套矩阵世界的“会计学”。它不能替代你对线性代数本质的理解但它能把你从繁琐的索引求和符号中拯救出来让你更清晰地看到问题的结构更优雅地进行推导和计算。从今天起试着在你遇到的矩阵问题中有意识地寻找使用迹来简化的机会你会发现一片新的天地。