多项分布参数的极大似然估计1. 问题设定假设有KKK个类别每个类别出现的概率为p1,p2,…,pKp_1, p_2, \dots, p_Kp1​,p2​,…,pK​满足pk⩾0p_k \geqslant 0pk​⩾0∑k1Kpk1\sum\limits_{k1}^K p_k 1k1∑K​pk​1进行NNN次独立试验记NkN_kNk​为类别kkk出现的次数那么∑k1KNkN\sum\limits_{k1}^K N_k Nk1∑K​Nk​N观测数据为向量x(x1,x2,…,xK)\boldsymbol{x} (x_1, x_2, \dots, x_K)x(x1​,x2​,…,xK​)。2. 多项分布的概率函数多项分布的概率质量函数为P(x∣p)N!x1! x2!⋯xK! p1x1p2x2⋯pKxK P(\boldsymbol{x} \mid \boldsymbol{p}) \frac{N!}{x_1! \, x_2! \cdots x_K!} \, p_1^{x_1} p_2^{x_2} \cdots p_K^{x_K}P(x∣p)x1​!x2​!⋯xK​!N!​p1x1​​p2x2​​⋯pKxK​​3. 似然函数似然函数为L(p)N!∏k1KNk!∏k1KpkNk L(\boldsymbol{p}) \frac{N!}{\prod_{k1}^K N_k!} \prod_{k1}^K p_k^{N_k}L(p)∏k1K​Nk​!N!​k1∏K​pkNk​​通常最大化对数似然函数ℓ(p)log⁡L(p)∑k1KNklog⁡pk常数 \ell(\boldsymbol{p}) \log L(\boldsymbol{p}) \sum\limits_{k1}^K N_k \log p_k \text{常数}ℓ(p)logL(p)k1∑K​Nk​logpk​常数4. 约束优化问题去掉与参数p\boldsymbol{p}p无关的常数项最大化ℓ(p)∑k1KNklog⁡pk \ell(\boldsymbol{p}) \sum\limits_{k1}^K N_k \log p_kℓ(p)k1∑K​Nk​logpk​约束条件∑k1Kpk1\sum\limits_{k1}^K p_k 1k1∑K​pk​1pk⩾0p_k \geqslant 0pk​⩾0使用拉格朗日乘数法引入拉格朗日函数L(p,λ)∑k1KNklog⁡pkλ(1−∑k1Kpk) \mathcal{L}(\boldsymbol{p}, \lambda) \sum\limits_{k1}^K N_k \log p_k \lambda \left( 1 - \sum\limits_{k1}^K p_k \right)L(p,λ)k1∑K​Nk​logpk​λ(1−k1∑K​pk​)5. 求导并令导数为零对pkp_kpk​求偏导∂L∂pkNkpk−λ0⇒pkNkλ \frac{\partial \mathcal{L}}{\partial p_k} \frac{N_k}{p_k} - \lambda 0 \quad \Rightarrow \quad p_k \frac{N_k}{\lambda}∂pk​∂L​pk​Nk​​−λ0⇒pk​λNk​​对λ\lambdaλ求偏导∂L∂λ1−∑k1Kpk0 \frac{\partial \mathcal{L}}{\partial \lambda} 1 - \sum\limits_{k1}^K p_k 0∂λ∂L​1−k1∑K​pk​0代入pkNk/λp_k N_k / \lambdapk​Nk​/λ∑k1KNkλ1⇒Nλ1⇒λN \sum\limits_{k1}^K \frac{N_k}{\lambda} 1 \quad \Rightarrow \quad \frac{N}{\lambda} 1 \quad \Rightarrow \quad \lambda Nk1∑K​λNk​​1⇒λN​1⇒λN6. 极大似然估计解因此p^kMLENkN,k1,…,K \hat{p}_k^{\text{MLE}} \frac{N_k}{N}, \quad k1,\dots,Kp^​kMLE​NNk​​,k1,…,K即每个类别的概率的极大似然估计就是该类别出现的频率。7. 结论多项分布的参数pkp_kpk​的极大似然估计为p^kNkN \boxed{\hat{p}_k \frac{N_k}{N}}p^​k​NNk​​​其中N∑k1KNkN \sum\limits_{k1}^K N_kNk1∑K​Nk​。这个结果直观且符合“频率是概率的极大似然估计”的思想。