目录前言1. 引言2. 定义 MGF 的可加性3. 简要证明4. 结语结语参考前言学习 Steven Brunton 讲授的概率与统计入门概述视频本篇文章记录第四十讲矩母函数的可加性质记录下个人学习笔记和大家一起分享交流videohttps://www.youtube.com/playlist?listPLMrJAkhIeNNR3sNYvfgiKgcStwuPSts9V1. 引言OK我们讨论的矩生成函数其实就是概率密度函数的拉普拉斯变换这个函数非常实用可以用来计算分布的期望、方差以及更高阶的矩同时矩生成函数在证明中心极限定理时也起着关键作用。该定理是概率论与统计学中奠基性的核心结论当若干个独立同分布的随机变量相加时它们的和会逐渐趋近于正态分布这一结论具有深远意义而其证明过程正是建立在矩生成函数的基础之上。接下来我要介绍一个基于拉普拉斯变换知识的特性这个特性既直观又实用能帮助我们理解矩生成函数的本质。2. 定义 MGF 的可加性假设存在两个相互独立的随机变量X XX和Y YY这两个随机变量可以来自不同的概率分布唯一的要求是它们彼此独立。这两个随机变量分布对应着各自的矩生成函数m X m_XmX​和m Y m_YmY​现在定义一个新变量Z X Y Z X YZXY今天要介绍的性质是Z ZZ的矩生成函数等于X XX与Y YY的矩生成函数之积m Z ( t ) m X ( t ) m Y ( t ) m_Z(t) m_X(t) \, m_Y(t)mZ​(t)mX​(t)mY​(t)这真是太精妙了若有两个随机变量将它们相加后其和的矩生成函数等于各自矩生成函数的乘积。这自然会让人联想到微分方程的情形当处理两个信号的拉普拉斯变换时原本需要对它们进行卷积运算但现在经过拉普拉斯变换后得到的是它们的乘积这与微分方程和控制理论中的传递函数概念非常相似在微分方程中若将多个模块串联其整体传递函数等于各模块传递函数的乘积若你熟悉微分方程的话这其实是个旁证思路若你未曾接触过微分方程不妨将此视为统计学中一个实用的新特性。接下来我要阐述它与中心极限定理的关联这也正是我介绍这些内容的根本目的。假设有若干随机变量X 1 , X 2 , … , X n X_1,X_2, \ldots,X_nX1​,X2​,…,Xn​定义新变量S n S_nSn​为这些随机变量之和S n ∑ i 1 n X i S_n \sum_{i1}^n X_iSn​i1∑n​Xi​那么这个新随机变量即所有变量之和的矩生成函数恰好等于各变量矩生成函数的乘积m S ( t ) [ m X ( t ) ] n m_S(t) [m_X(t)]^nmS​(t)[mX​(t)]n注意这里m X n ( t ) m_X^n(t)mXn​(t)表示m X ( t ) m_X(t)mX​(t)的n nn次幂。在证明中心极限定理时这个性质将变得极其重要因为我们将明确论证这个求和项会收敛于正态分布这意味着我们需要证明该矩母函数正是正态分布的矩母函数。这就是我们证明概率论与统计学中最重要的成果之一 — 中心极限定理的方法。3. 简要证明以上就是中心极限定理的表述与性质接下来我将简要说明其证明思路证明过程其实相当简单。随机变量Z ZZ的矩生成函数被明确定义为m Z ( t ) E ( e t Z ) E ( e t ( X Y ) ) m_Z(t) \mathbb{E}(e^{tZ}) \mathbb{E}(e^{t(XY)})mZ​(t)E(etZ)E(et(XY))这里提供几种推导思路此时可以直接代入期望值公式进行计算现在要计算的是对X XX和Y YY进行双重积分被积函数为e t ( x y ) e^{t(xy)}et(xy)乘以概率密度函数通过这种推导方式最终能够得出我们所需的结果。或者可以直接写成m Z ( t ) E ( e t Z ) E ( e t ( X Y ) ) E ( e t x e t y ) E ( e t x ) E ( e t y ) m X ( t ) m Y ( t ) \begin{align*} m_Z(t) \mathbb{E}(e^{tZ}) \mathbb{E}(e^{t(XY)}) \\ \mathbb{E}(e^{tx} e^{ty}) \\ \mathbb{E}(e^{tx}) \, \mathbb{E}(e^{ty}) \\ m_X(t) \, m_Y(t) \end{align*}mZ​(t)​E(etZ)E(et(XY))E(etxety)E(etx)E(ety)mX​(t)mY​(t)​e t x e^{tx}etx与e t y e^{ty}ety的期望乘积因为指数乘法正是这样运算的由于X XX与Y YY相互独立e t X e^{tX}etX和e t Y e^{tY}etY作为随机变量也相互独立因此它们乘积的期望等于各自期望的乘积。最终得到的就是X XX的矩生成函数与Y YY的矩生成函数的乘积。这里我省略了一些中间步骤如果非要严格推导的话我会从期望值的完整积分式出发证明该关于X XX和Y YY的二重积分可拆分为两个独立积分最终结果正是这两个矩生成函数的乘积上面只是一个简略的推导框架。4. 结语这个极其重要的性质表明对于两个相互独立的随机变量必须满足独立性条件其和的矩生成函数等于两个随机变量各自矩生成函数的乘积这个性质非常实用稍后我们在证明中心极限定理时会具体运用它。结语本讲揭示的 MGF 加法性质—m X Y ( t ) m X ( t ) m Y ( t ) m_{XY}(t) m_X(t) \, m_Y(t)mXY​(t)mX​(t)mY​(t)X , Y X,YX,Y独立—堪称独立随机变量求和运算的 “代数化翻译器”加法在随机变量空间是线性堆积Z X Y ZXYZXY映射到 MGF 空间后变为乘法分解m Z m X ⋅ m Y m_Z m_X \cdot m_YmZ​mX​⋅mY​。这一转换的证明仅需两步极度简单的操作(1)e t ( X Y ) e t X e t Y e^{t(XY)} e^{tX} e^{tY}et(XY)etXetY—指数的基本运算性质将加法转为乘法(2)E ( e t X e t Y ) E ( e t X ) E ( e t Y ) \mathbb{E}(e^{tX}e^{tY}) \mathbb{E}(e^{tX})\mathbb{E}(e^{tY})E(etXetY)E(etX)E(etY)—独立性确保乘积的期望等于期望的乘积L29 第二条性质。两项合一得证。推广至n nn个 i.i.d. 变量后求和S n ∑ X i S_n \sum X_iSn​∑Xi​的 MGF 呈现极简的幂形式m S n ( t ) [ m X ( t ) ] n m_{S_n}(t) [m_X(t)]^nmSn​​(t)[mX​(t)]n。这为 CLT 证明铺设了核心高速公路标准化的样本均值S n − n μ σ n \frac{S_n - n\mu}{\sigma\sqrt{n}}σn​Sn​−nμ​的 MGF 可表示为[ m ( t σ n ) ] n ⋅ e − t n μ / σ [m(\frac{t}{\sigma\sqrt{n}})]^n \cdot e^{-t\sqrt{n}\mu/\sigma}[m(σn​t​)]n⋅e−tn​μ/σ当n → ∞ n\to\inftyn→∞时对该式取对数并利用泰勒展开即可证明其收敛于e t 2 / 2 e^{t^2/2}et2/2—标准正态的 MGF。MGF 的逐点收敛等价于分布收敛L37 的唯一性定理CLT 由此得证。Brunton 提及的拉普拉斯变换视角为此增添了更宽阔的数学视野在微分方程和控制理论中串联系统的传递函数等于各子模块传递函数之积—卷积在频域退化为乘法。独立随机变量之和的分布恰是各分布密度的卷积而 MGF作为拉普拉斯变换将这种卷积关系对角化为乘积。这不仅是计算上的简化更是结构上的揭示独立性将概率世界中最复杂的运算卷积转化为最简单的运算乘法—所有关于 CLT 的后续论证都将建立在这一代数简化之上 。参考https://www.youtube.com/playlist?listPLMrJAkhIeNNR3sNYvfgiKgcStwuPSts9V