矩母函数的推导与说明 -- 潘登同学的概率论笔记

矩母函数的由来

考虑一个有样本空间$S$的随机变量$X$,一阶距表示随机变量$X$的期望$E[X]$，二阶矩表示随机变量$X^2$的期望$E[X^2]$，那么n阶距表示$X^n$的期望$E[X^n]$

回想概率密度函数与概率分布函数:

1. 随机变量$X$发生概率为$P(x)$,概率分布函数$F(x) = P\{X \leq x\} = \int_{-\infty}^x f(t)dt$,而对概率分布函数求导，就可以得到概率密度函数$f(x)$
2. 类似地，矩母函数$\Phi(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}e^{tx}dF(x)$,对矩母函数求$n$阶导就可以得到$n$阶距

矩母函数n阶导是n阶距的证明

给出矩母函数的准确定义，设$X$为随机变量，若存在某正实数$h$,对于区间$(-h,h)$中任一实数$t$，数学期望$E(e^{tX})$均存在
$$M_X(t) = E(e^{tX}) = \begin{cases} \sum e^{tx}p(x), & \text{if }X\text{ is Discrete} \\ \int e^{tx}p(x)dx, & \text{if }X\text{ is Continuous} \end{cases}$$

对$e^{tx}$进行泰勒展开
$$e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots$$

这里以连续型为例，把$M_X(t)$中的$e^{tx}$用展开式替换

$$M_X(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}[1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots]f(x)dx$$

抽出其中一项看一下,其实就是n阶距前面乘上了一个系数

$$\begin{aligned} &\int_{-\infty}^{+\infty} \frac{(tx)^2}{2!} f(x)dx \\ =&\frac{t^2}{2!}\int_{-\infty}^{+\infty} x^2 f(x)dx \\ =&\frac{t^2}{2!} E(X^2) \end{aligned}$$

所以上式可以改写为
$$M_X(t) = 1 + tm_1 + \frac{t^2}{2!}m_2 + \cdots + \frac{t^n}{n!}m_n + \cdots$$
其中, $m_k$表示k阶距

对上式在$t=0$处求k阶导
$$M_X^{(k)}(0) = \frac{d^kM_X(t)}{dt^k}|_{t=0} = m_k$$

经典分布的矩母函数

伯努利分布

• 用随机变量$X$表示伯努利试验的结果,则$X$服从伯努利分布
  $$f(x) = \begin{cases} p^x(1-p)^x, & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases}$$

• 根据上面的定义写出矩母函数
  $$\begin{aligned} M_X(t) &= \sum_{x=0,1} e^{tx}f(x) \\ &= (1-p) + pe^t \end{aligned}$$

二项分布

• 用随机变量$X$表示n重伯努利试验中成功的次数,则其概率密度函数为
  $$f(x) = \begin{cases} C_x^n p^x(1-p)^(n-x), & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases}$$

• 写出矩母函数
  $$\begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= [(1-p) + pe^t]^n \end{aligned}$$

注意 上面的过程是基于二项分布的系数就是n次多项式展开的系数，所以可以反着用一次将展开的多项式还原

泊松分布

• 用随机变量$X$表示某个商店一天中卖出某件商品的数量,假设$X$服从参数为$\lambda$的泊松分布
  $$f(x) = \frac{e^{-\lambda}\lambda^x}{x!}$$

• 写出矩母函数
  $$\begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= e^{tx} \frac{e^{-\lambda}\lambda^x}{x!} \end{aligned}$$

• 令$a = \lambda e^t$，
  $$\begin{aligned} M_X(t) &= e^{-\lambda}\sum_{x=0}^n \frac{a^x}{x!} \\ &= e^{-\lambda} e^a = e^{\lambda(e^t-1)} \end{aligned}$$

• 对矩母函数求一阶导, 验证是否等于均值
  $$\frac{de^{\lambda(e^t-1)}}{dt}|_{t=0} = \lambda(e^t) e^{\lambda(e^t-1)}|_{t=0} = \lambda$$

指数分布

• 设随机变量$X$表示某个灯泡的寿命，假设$X$服从参数为$\lambda$的指数分布
  $$f(x) = \lambda e^{-\lambda x}$$

• 写出矩母函数
  $$\begin{aligned} M_X(t) &= \int_{0}^{+\infty} e^{tx}f(x)dx \\ &= \int_{0}^{+\infty} e^{tx}\lambda e^{-\lambda x}dx \\ &= \lambda \int_{0}^{+\infty} e^{(t-\lambda) x}dx \\ &\overset{t<\lambda}{=} \frac{\lambda}{\lambda - t} \\ \end{aligned}$$

重要的是要认识到矩母函数不是一个数而是一个参数为 t 的函数

• 对矩母函数求一阶导, 验证是否等于均值
  $$\frac{d\frac{\lambda}{\lambda - t}}{dt}|_{t=0} = \frac{\lambda}{(\lambda - t)^2}|_{t=0} = \frac{1}{\lambda}$$

正态分布

• 设随机变量$X$为随机抽样得到的某一个人的身高, 假设$X$服从均值为$\mu$，方差为$\sigma^2$的正态分布;先考虑其标准正态随机变量$Y$的概率密度与矩母函数
  $$Y = \frac{X-\mu}{\sigma} \\ f(y) = \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}$$

• 计算矩母函数
  $$\begin{aligned} M_Y(t) &= \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}} e^{ty}dy \\ &= \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{y^2}{2}+ty}dy \\ &= e^{\frac{t^2}{2}}{2}\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{(y-t)^2}{2}}dy \\ &= e^{\frac{t^2}{2}} \end{aligned} \\$$

注意 上面是构造了一个均值为t，方差为1的正态分布概率密度，利用积分为1的性质得到的

• 利用$X$与$Y$的线性关系，计算$X$的矩母函数
  $$M_X(t) = e^{t\mu}M_Y(t\sigma) = e^{t\mu + \frac{(t\sigma)^2}{2}}$$

• 给出上式证明
  $$\begin{aligned} M_Y(t) &= E[e^{tY}] \\ &= E[e^{t(\sigma X + \mu)}] \\ &= e^{t\mu}E[e^{(t\sigma)X}]\\ &= e^{t\mu}M_X(t\sigma) \end{aligned} \\$$

独立随机变量和

独立随机变量的和的矩母函数是各个随机变量的矩母函数的乘积

• 设$X$和$Y$为独立的随机变量，并记$Z=X+Y$
  $$M_Z(t) = E[e^{tZ}] = E[e^{t(X+Y)}] = E[e^{tX+tY}] = M_X(t) + M_Y(t)$$

所以我们上面那个二项分布的矩母函数也可以根据这个性质得到

• 设$X_1,X_2,\ldots,X_n$为独立的伯努利实验，$Z=X_1+X_2+\ldots+X_n$为n重伯努利实验
  $$M_Z(t) = [M_X(t)]^n = [(1-p) + pe^t]^n$$