深圳独立设计工作室_免费咨询平台_怎么在百度推广自己的网站_搜索引擎排名2021

内容来源

贝叶斯统计（第二版）中国统计出版社

---

定义

设 $\theta$ 是总体分布中的参数（或参数向量），$\pi (\theta )$ 是 $\theta$ 的先验密度函数

假如由抽样信息算得的后验密度函数与 $\pi (\theta )$ 有相同的函数形式，则称 $\pi (\theta )$ 是 $\theta$ 的共轭先验分布

例：正态均值（方差已知）的共轭先验分布是正态分布

设 $x_1,\cdots ,x_n$ 是来自正态分布 $N(\theta ,{\sigma }^2)$ 的一个样本观察值。其中 ${\sigma }^2$ 已知

则该样本的似然函数为

$$p(x|\theta )={\left(-\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\theta {)}^2\right\}$$

现取另一个正态分布 $N(\mu ,{\tau }^2)$ 作为正态均值 $\theta$ 的先验分布，即

$$\pi (\theta )=\frac{1}{\sqrt{2\pi }\tau }\exp \left\{-\frac{(\theta -\mu {)}^2}{2{\tau }^2}\right\}$$

其中 $\mu$ 与 ${\tau }^2$ 为已知，由此可以写出样本 $x$ 与参数 $\theta$ 的联合密度函数

$$h(x,\theta )=k_1\exp \left\{-\frac{1}{2}\left[\frac{n{\theta }^2-2n\theta \overline{x}+{\sum }_{i=1}^n{x}_i^2}{{\sigma }^2}+\frac{{\theta }^2-2\mu \theta +{\mu }^2}{{\tau }^2}\right]\right\}$$

其中

$$k_1=(2\pi {)}^{\frac{n+1}{2}}{\tau }^{-1}{\sigma }^{-n},\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

若再记（至于这个再记是怎么想出来的…）

$${\sigma }_0^2=\frac{{\sigma }^2}{n},A=\frac{1}{{\sigma }_0^2}+\frac{1}{{\tau }^2},B=\frac{x}{{\sigma }_0^2}+\frac{\mu }{{\tau }^2},C=\frac{1}{{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{{\mu }^2}{{\tau }^2}$$

则有

$$\begin{array}{rl}h(x,\theta )& =k_1\exp \left\{-\frac{1}{2}\left[A{\theta }^2-2\theta B+C\right]\right\}\\ & =k_2\exp \left\{-\frac{(\theta -B/A{)}^2}{2/A}\right\}\end{array}$$

其中

$$k_2=k_1\exp \left\{-\frac{1}{2}(C-B^2/A)\right\}$$

由此容易算得样本 $x$ 的边缘分布（用高斯积分）

$$m(x)={\int }_{-\infty }^{\infty }h(x,\theta )\mathrm{d}\theta =k_2{\left(\frac{2\pi }{A}\right)}^{\frac{1}{2}}$$

所以 $\theta$ 的后验分布为

$$\pi (\theta |x)={\left(\frac{2\pi }{A}\right)}^{-\frac{1}{2}}\exp \left\{-\frac{(\theta -B/A{)}^2}{2/A}\right\}$$

这是正态分布，其均值与方差分别为

$${\mu }_1=\frac{B}{A}=\frac{\overline{x}{\sigma }_0^{-2}+\mu {\tau }^{-2}}{{\sigma }_0^{-2}+{\tau }^{-2}},{\tau }_1^2=A^{-1}={\left(\frac{1}{{\sigma }_0^2}+\frac{1}{{\tau }^2}\right)}^{-1}$$