矩母函数的推导与说明

作者: pdnbplus | 发布时间: 2024/07/13 | 阅读量: 353

矩母函数的推导与说明 -- 潘登同学的概率论笔记

矩母函数的由来

考虑一个有样本空间SS的随机变量XX,一阶距表示随机变量XX的期望E[X]E[X],二阶矩表示随机变量X2X^2的期望E[X2]E[X^2],那么n阶距表示XnX^n的期望E[Xn]E[X^n]

回想概率密度函数与概率分布函数:

  1. 随机变量XX发生概率为P(x)P(x),概率分布函数F(x)=P{Xx}=xf(t)dtF(x) = P\{X \leq x\} = \int_{-\infty}^x f(t)dt,而对概率分布函数求导,就可以得到概率密度函数f(x)f(x)
  2. 类似地,矩母函数Φ(t)=E(etX)=+etxdF(x)\Phi(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}e^{tx}dF(x),对矩母函数求nn阶导就可以得到nn阶距

矩母函数n阶导是n阶距的证明

给出矩母函数的准确定义,设XX为随机变量,若存在某正实数hh,对于区间(h,h)(-h,h)中任一实数tt,数学期望E(etX)E(e^{tX})均存在
MX(t)=E(etX)={etxp(x),if X is Discreteetxp(x)dx,if X is ContinuousM_X(t) = E(e^{tX}) = \begin{cases} \sum e^{tx}p(x), & \text{if }X\text{ is Discrete} \\ \int e^{tx}p(x)dx, & \text{if }X\text{ is Continuous} \end{cases}

etxe^{tx}进行泰勒展开
etx=1+tx+(tx)22!++(tx)nn!+e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots

这里以连续型为例,把MX(t)M_X(t)中的etxe^{tx}用展开式替换

MX(t)=E(etX)=+[1+tx+(tx)22!++(tx)nn!+]f(x)dxM_X(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}[1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots]f(x)dx

抽出其中一项看一下,其实就是n阶距前面乘上了一个系数

+(tx)22!f(x)dx=t22!+x2f(x)dx=t22!E(X2)\begin{aligned} &\int_{-\infty}^{+\infty} \frac{(tx)^2}{2!} f(x)dx \\ =&\frac{t^2}{2!}\int_{-\infty}^{+\infty} x^2 f(x)dx \\ =&\frac{t^2}{2!} E(X^2) \end{aligned}

所以上式可以改写为
MX(t)=1+tm1+t22!m2++tnn!mn+M_X(t) = 1 + tm_1 + \frac{t^2}{2!}m_2 + \cdots + \frac{t^n}{n!}m_n + \cdots
其中, mkm_k表示k阶距

对上式在t=0t=0处求k阶导
MX(k)(0)=dkMX(t)dtkt=0=mkM_X^{(k)}(0) = \frac{d^kM_X(t)}{dt^k}|_{t=0} = m_k

经典分布的矩母函数

伯努利分布

  • 用随机变量XX表示伯努利试验的结果,则XX服从伯努利分布
    f(x)={px(1p)x, x=0,10,else  f(x) = \begin{cases} p^x(1-p)^x, & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases}

  • 根据上面的定义写出矩母函数
    MX(t)=x=0,1etxf(x)=(1p)+pet\begin{aligned} M_X(t) &= \sum_{x=0,1} e^{tx}f(x) \\ &= (1-p) + pe^t \end{aligned}

二项分布

  • 用随机变量XX表示n重伯努利试验中成功的次数,则其概率密度函数为
    f(x)={Cxnpx(1p)(nx), x=0,10,else  f(x) = \begin{cases} C_x^n p^x(1-p)^(n-x), & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases}

  • 写出矩母函数
    MX(t)=x=0netxf(x)=[(1p)+pet]n\begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= [(1-p) + pe^t]^n \end{aligned}

注意 上面的过程是基于二项分布的系数就是n次多项式展开的系数,所以可以反着用一次将展开的多项式还原

泊松分布

  • 用随机变量XX表示某个商店一天中卖出某件商品的数量,假设XX服从参数为λ\lambda的泊松分布
    f(x)=eλλxx!f(x) = \frac{e^{-\lambda}\lambda^x}{x!}

  • 写出矩母函数
    MX(t)=x=0netxf(x)=etxeλλxx!\begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= e^{tx} \frac{e^{-\lambda}\lambda^x}{x!} \end{aligned}

  • a=λeta = \lambda e^t
    MX(t)=eλx=0naxx!=eλea=eλ(et1)\begin{aligned} M_X(t) &= e^{-\lambda}\sum_{x=0}^n \frac{a^x}{x!} \\ &= e^{-\lambda} e^a = e^{\lambda(e^t-1)} \end{aligned}

  • 对矩母函数求一阶导, 验证是否等于均值
    deλ(et1)dtt=0=λ(et)eλ(et1)t=0=λ\frac{de^{\lambda(e^t-1)}}{dt}|_{t=0} = \lambda(e^t) e^{\lambda(e^t-1)}|_{t=0} = \lambda

指数分布

  • 设随机变量XX表示某个灯泡的寿命,假设XX服从参数为λ\lambda的指数分布
    f(x)=λeλxf(x) = \lambda e^{-\lambda x}

  • 写出矩母函数
    MX(t)=0+etxf(x)dx=0+etxλeλxdx=λ0+e(tλ)xdx=t<λλλt\begin{aligned} M_X(t) &= \int_{0}^{+\infty} e^{tx}f(x)dx \\ &= \int_{0}^{+\infty} e^{tx}\lambda e^{-\lambda x}dx \\ &= \lambda \int_{0}^{+\infty} e^{(t-\lambda) x}dx \\ &\overset{t<\lambda}{=} \frac{\lambda}{\lambda - t} \\ \end{aligned}

重要的是要认识到矩母函数不是一个数而是一个参数为 t 的函数

  • 对矩母函数求一阶导, 验证是否等于均值
    dλλtdtt=0=λ(λt)2t=0=1λ\frac{d\frac{\lambda}{\lambda - t}}{dt}|_{t=0} = \frac{\lambda}{(\lambda - t)^2}|_{t=0} = \frac{1}{\lambda}

正态分布

  • 设随机变量XX为随机抽样得到的某一个人的身高, 假设XX服从均值为μ\mu,方差为σ2\sigma^2的正态分布;先考虑其标准正态随机变量YY的概率密度与矩母函数
    Y=Xμσf(y)=12πey22Y = \frac{X-\mu}{\sigma} \\ f(y) = \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}

  • 计算矩母函数
    MY(t)=+12πey22etydy=12π+ey22+tydy=et22212π+e(yt)22dy=et22\begin{aligned} M_Y(t) &= \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}} e^{ty}dy \\ &= \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{y^2}{2}+ty}dy \\ &= e^{\frac{t^2}{2}}{2}\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{(y-t)^2}{2}}dy \\ &= e^{\frac{t^2}{2}} \end{aligned} \\

注意 上面是构造了一个均值为t,方差为1的正态分布概率密度,利用积分为1的性质得到的

  • 利用XXYY的线性关系,计算XX的矩母函数
    MX(t)=etμMY(tσ)=etμ+(tσ)22M_X(t) = e^{t\mu}M_Y(t\sigma) = e^{t\mu + \frac{(t\sigma)^2}{2}}

  • 给出上式证明
    MY(t)=E[etY]=E[et(σX+μ)]=etμE[e(tσ)X]=etμMX(tσ)\begin{aligned} M_Y(t) &= E[e^{tY}] \\ &= E[e^{t(\sigma X + \mu)}] \\ &= e^{t\mu}E[e^{(t\sigma)X}]\\ &= e^{t\mu}M_X(t\sigma) \end{aligned} \\

独立随机变量和

独立随机变量的和的矩母函数是各个随机变量的矩母函数的乘积

  • XXYY为独立的随机变量,并记Z=X+YZ=X+Y
    MZ(t)=E[etZ]=E[et(X+Y)]=E[etX+tY]=MX(t)+MY(t)M_Z(t) = E[e^{tZ}] = E[e^{t(X+Y)}] = E[e^{tX+tY}] = M_X(t) + M_Y(t)

所以我们上面那个二项分布的矩母函数也可以根据这个性质得到

  • X1,X2,,XnX_1,X_2,\ldots,X_n为独立的伯努利实验,Z=X1+X2++XnZ=X_1+X_2+\ldots+X_n为n重伯努利实验
    MZ(t)=[MX(t)]n=[(1p)+pet]nM_Z(t) = [M_X(t)]^n = [(1-p) + pe^t]^n