概率论中的特征函数

定义

对于一个随机变量 $X$ ，定义其特征函数为

$${\phi }_X(t)=E[e^{itX}]$$

why?

已知 $e^{itX}$ 的泰勒级数为：

$$e^{itX}=1+{\displaystyle \frac{itX}{1}}-{\displaystyle \frac{t^2{X}^2}{2!}}+\cdots +{\displaystyle \frac{(it{)}^n{X}^n}{n!}}+\cdots$$

故

$$\begin{array}{rl}{\phi }_X(t)& =E[e^{itX}]\\ & =E(1+{\displaystyle \frac{itX}{1}}-{\displaystyle \frac{t^2{X}^2}{2!}}+\cdots +{\displaystyle \frac{(it{)}^n{X}^n}{n!}}+\cdots )\\ & =E(1)+E({\displaystyle \frac{itX}{1}})-E({\displaystyle \frac{t^2{X}^2}{2!}})+\cdots +E({\displaystyle \frac{(it{)}^n{X}^n}{n!}})+\cdots \\ & =1+{\displaystyle \frac{itE[X]}{1}}-{\displaystyle \frac{t^{2}E[X^2]}{2!}}+\cdots +{\displaystyle \frac{(it{)}^{n}E[X^n]}{n!}}+\cdots \end{array}$$

包含了随机变量分布的所有原点矩，即包含了分布的所有特征。

生成函数

上式是随机变量 $X$ 的各阶原点矩的生成函数。

有数学家是这么形容生成函数的：

A generating function is a clothesline on which we hang up a sequence of numbers for display. (生成函数是用来展示一串数字的晾衣绳) ——Herbert Wilf

例子

正态分布 $X\sim N(\mu ,{\sigma }^2)$ 的分布函数

$$f(x)={\displaystyle \frac{1}{\sqrt{2\pi }\sigma }}{e}^{-{\displaystyle \frac{(x-\mu {)}^2}{2{\sigma }^2}}}$$

其对应的特征函数

$${\phi }_X(t)=\exp \left({\displaystyle i\mu t-{\displaystyle \frac{{\sigma }^2{t}^2}{2}}}\right)$$

使用

性质

注意到特征函数的定义式

$${\phi }_X(t)=E[e^{itX}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)e^{itx}\mathrm{d}x$$

与傅里叶变换的定义式相仿，记变量 $X$ 的分布函数 $f(x)$ 的傅里叶变换为 $\mathcal{F}(x)$ ， 有

$${\phi }_X(t)={\mathcal{F}}^{\ast }(x)$$

即特征函数是分布函数的傅里叶变换的复共轭。

当利用卷积公式

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x=f_X\ast f_Y$$

计算两个变量和 $Z=X+Y$ 的分布函数时，可以转化成为计算其对应的特征函数的乘积

$${\phi }_Z(t)={\phi }_X(t){\phi }_Y(t)$$

例子

例如现在来求 $X_k\sim N({\mu }_k,{\sigma }_k^2),k=1,2$ ，变量 $Z=a_1{X}_1+a_2{X}_2$ 的分布：

变量 $a_k{X}_k\sim N(a_k{\mu }_k,a_k^2{\sigma }_k^2)$ ，分布函数为

$$f_k(x)={\displaystyle \frac{1}{\sqrt{2\pi }{a}_k{\sigma }_k}}{e}^{-{\displaystyle \frac{(x-a_k{\mu }_k{)}^2}{2a_k^2{\sigma }_k^2}}}$$

其对应的特征函数

$${\phi }_k(t)=\exp \left({\displaystyle i{a}_k{\mu }_{k}t-\frac{a_k^2{\sigma }_k^2{t}^2}{2}}\right)$$

变量 $Z$ 的特征函数为

$$\begin{array}{rl}{\phi }_Z(t)& ={\phi }_1(t){\phi }_2(t)\\ & =\exp (i(a_1{\mu }_1+a_2{\mu }_2)t-{\displaystyle \frac{(a_1^2{\sigma }_1^2+a_2^2{\sigma }_2^2)t^2}{2}})\end{array}$$

故变量 $Z$ 的分布函数

$$f_Z(z)={\displaystyle \frac{1}{\sqrt{2\pi }(a_1{\mu }_1+a_2{\mu }_2)}}{e}^{-{\displaystyle \frac{(x-(a_1{\mu }_1+a_2{\mu }_2){)}^2}{2(a_1^2{\sigma }_1^2+a_2^2{\sigma }_2^2)}}}$$

即 $Z\sim N(a_1{\mu }_1+a_2{\mu }_2,a_1^2{\sigma }_1^2+a_2^2{\sigma }_2^2)$

推广

进一步可以得到正态分布的线性组合的分布仍然是正态分布：

若变量 $X_k\sim N({\mu }_k,{\sigma }_k^2)$ ，$Z=\sum _{k=1}^n{a}_k{X}_k$ ， 则

$$Z\sim N(\sum _{k=1}^n{a}_k{\mu }_k,\sum _{k=1}^n{a}_k^2{\sigma }_k^2)$$